借助友盟+U-App,通过A/B Test个人中心改版分析报告

时间:2019-07-27 来源: 视听在线

工具:本文分析工具是AUO +移动统计(U-App AI版),以及自己的BI系统分析

作者:JM,从规划到0-1超过千万访客每日页面浏览量的流量分析系统,谁负责产品销售突破百亿跨境电商公司的业务分析系统,现为广告和营销公司数据产品经理。

关键词:A/B测试

以下数据已经脱敏,非实际数据,仅用于分析和着陆参考。

1.项目背景

为了应对电子商务应用的重大修订,上级还对个人中心的界面风格提出了新的要求。因此,还提出了修改个人中心主页的请求。

1.1修订分析

个人中心主页用作信息分发页面,核心是快速导航用户到所需的功能模块。其次,除了导航到不同的功能模块外,它还提供产品推荐,引导邮箱验证等内容(重点是重新分配的效果,以前的需求分析不再重复)。因此,可以根据页面的功能定位和所提供的功能来制定修订目标。

img_pic_1562294325_0.jpg

1.1修订目标

(1)优化个人中心主页的功能导航,方便用户快速查找相应的功能部分,减少个人中心的平均停留时间;

(2)推荐产品展示,增加推荐产品在个人中心主页的曝光率,增加个人中心主页推荐内容的交易量;

(3)邮箱验证添加奖励点提醒,提示更多用户完成邮箱验证,提高用户邮箱验证次数。

1.2实验方法

个人中心主页的新旧版本同时在线,并且流量由分发工具划分,以确保实验中新旧样本的数量基本相同。

1.3实验时间

2018年11月16日,2018年11月29日

1.4实验样品

较旧的会议:新会议:

页面数据的比较是同一版本的两个版本同时的数据性能,类似的样本大小;

事务数据的比较是修订之前和之后旧版本和新版本推荐的事务数量的比较。

2.实验监测

在AB实验期间,将根据既定的修订目标监测AB版核心指标的比较,以调整AB实验的转移策略。为了确保初始分流比,AB版本中的测试会话数量足以避免由于基数太小而导致AB实验结果的误判。根据过去一个月个人中心主页的流量,初始实验流量比率为20%。 (假设每天访问个人中心的家庭中心的平均会话数,那么20%的比例参与实验,每天的会话数被分成几个)。

2.1平均停留时间

img_pic_1562294325_1.png

功能路径:用户洞察 - 事件分析 - 新建 - 页面访问路径

相应的指标名称:平均访问持续时间

指标含义:统计日期内用户在功能页面上的平均使用时间;平均停留时间本身并不好或坏,平均停留时间的影响根据具体情况进行评估。 (例如:文章页面,平均停留时间可能会尽可能大;对于导航页面,用户可以多快找到他们想要的内容,平均停留时间尽可能小)

2.2退出百分比

功能路径:基本看板 - 功能使用 - 页面访问路径

相应的指标名称:跳出率

指标含义:功能页面是否会导致用户在统计日期内退出产品;退出百分比本身的大小不好或坏,并根据具体方案评估退出百分比百分比的影响。 (例如,产品页面,退出的百分比尽可能小,此类页面的作用仍在流程指南中,而不是流程结束,以避免导致用户尽可能退出;对于付款完成页面,用户已达到既定的交易转换目标,用户可以选择退出产品,退出的百分比尽可能大)

2.3交易数量

比较时间段:11月5日 - 11月13日

比较时间段:11月5日 - 11月13日

功能路径:基本看板 - 功能使用 - 自定义事件

上班前:在后台注册,然后在后台成功注册,然后埋葬代码并将“交易成功”作为事件埋葬

操作:单击相应事件的“查看”操作以执行事件的趋势分析

2.4邮箱验证号

与2.3相同

根据AB的实验情况,效果达到预期的优化方向。因此,在随后的时间内,实验流量比逐渐增大,并且仍然优化过程中的效果,直到更换完整体积,更换旧版本,并更换新版本。

3.数据恢复

用全流程替换旧版本后,在新版本启动后,有必要在一段时间内监视新版本的效果。这里,选择两周作为效果观察期,并将数据与实验前数据进行比较。在观察期间,数据反馈仍然达到优化方向。因此,该实验成功完成。为了便于后续迭代,执行以下数据修订。

3.1数据概述

img_pic_1562294325_2.png

*平均停留时间,退出百分比和邮箱验证号码:数据取自U-App AI版本,比较时间段为11.16-11.27 *交易时间:数据来自自行开发的数据系统,比较时间段为11.05-11.13和11.19-11.27;由于样式的变化,数据28和29不包括在计算中,并且已经修复

*说明:采用自主开发的数据系统的AB实验功能。无论基数

引起的目标数量的差异如何,新旧样本的数量都相似

从上述数据来看,修订的三个目标已经实现:

1.优化个人中心主页的功能导航,使用户可以快速找到相应的功能部分,减少默认页面的停留时间;从当前数据来看,新版本的平均默认页面停留时间为12.0秒,比之前版本的18.0s低27%。与此同时,页面退出百分比也降低了35%,降至2%;表明该修订已减少了用户页面的平均停留时间,但并未导致更多用户退出该网站。相反,它促使更多用户继续访问该网站并实现修订后的目标。

2.增加推荐产品在个人中心主页上的曝光率,并增加默认页面上推荐页面的数量。根据当前数据,新页面默认值为4,275,比旧版本相邻周期中的事务数量多3,340。 28%;实现了修订的目标;

3.新的邮箱验证提示,提示更多用户完成邮箱验证并打开集成模块;从当前数据来看,新的默认页面邮箱验证号码为3,755,比邮箱验证号码的前一版本高出511%,高出735倍;修改目标。

3.2页面数据分析

3.2.1访问

访问

PV

UV

旧版

百万

330030

新版

1130400

327650

新版本增长

13.04%

-0.71%

从上面的二维表中,在自主开发的数据系统的控制下,参与实验的新旧UV数量相似,但PV数量有很大差异:在相似的UV数量下,新的PV数量大于旧数量。高出13.04%,平均综合浏览量达到3.45,表明参与新版本实验的用户将使用频率高于旧版本实验用户的用户中心,这将促进用户的用户活动中心模块。

功能路径:基本看板 - 功能使用 - 页面访问路径

img_pic_1562294326_3.png

对应的指标名称:PV对应“访问”,UV没有相应的指标

指示符含义:PV表示页面的访问次数,UV表示页面的访问者数量,但页面的UV统计信息丢失,这不反映访问者使用页面的频率。例如,注册页面上的平均访问量是暴涨,这可能是注册。该过程在使用该过程中存在障碍。例如,如果成功返回注册,则经常刷新用户,这可能导致UV改变,但PV正在暴涨。

3.2.2页面质量

由于个人中心的主页定位为导航个人中心的功能,因此判断个人中心的主页的效率基于停留时间越短。 (一定范围)从上图中平均停留时间:页面的平均停留时间波动很大,但新版个人中心主页的平均停留时间大多低于旧版本的平均停留时间,因此个人中心主页的新版本已经减少。平均页面停留时间的目标。

从上图看出口百分比,可以看出页面的退出率也相对不稳定。个人中心主页的新版本中的退出百分比也是大多低于旧版本的退出百分比,表示新版本的个人中心主页引导用户进一步访问该网站。更大的贡献,使其他页面获得更多访问;另一个角度,虽然减少了平均页面时间,但也没有导致更多用户退出页面上的网站。

从上图看页面跳出率,可以看出当用户在个人中心的主页上登陆时,新旧版本的数据基本相同,新版本没有有效解决用户跳出的情况。跳出率通常反映给用户的登录页面。有吸引力,促使用户进一步访问该网站。

可以从以下几点考虑以下版本的迭代:

1.个人中心主页不是普通用户的登陆页面。您可以从这些用户的来源开始。为什么要降落在用户中心并分析来源?它可能是用户重新启动会话的当前页面,但它将在没有进一步访问的情况下关闭。页;

2.作为登陆页面,在用户完成阅读之后,用户是否不引导用户进一步访问该页面或者用户没有找到他想要的内容;同时,如果考虑新增加,有必要考虑个人中心主页本身位于功能导航页面上;/P>

目前不支持跳出率评估着陆页效果,跳出率统计数据来自内部自行开发的数据系统。

3.2.3事件触发

目前,该网站的注册未经邮箱验证。只要格式化的邮箱可以成功注册,就可能存在用户未使用的邮箱,这使我们更难以区分用户。同时,个人中心的集成模块需要打开邮箱验证。在个人中心主页的新版本中,添加了用于邮箱验证的新奖励点提醒,并且期望更多用户将完成邮箱验证操作。上图计算了用户单击邮箱验证的情况。

可以看出,新版邮箱验证号远远高于旧版邮箱验证号,伴随着实验流量的增加(23%~50%),新老版本的比较验证号越来越明显。截至29日,同样的实验样本,新版邮箱验证号达到了3,755次,高于旧版邮箱验证号的51%。

3.3交易数据分析

比较时间段:11月5日 - 11月13日

比较时间段:11月5日 - 11月13日

交易次数的比较是使用一周的比较来比较一周中实验前后9天的数据(例如,19日是星期六,比较也是最近的星期六) ),不包括每周交易量的周期性变化。影响。可以看出,在小流量的初始阶段,新旧之间的对比并不是特别明显。在23日增加实验流量后,新旧交易数量的比较变得越来越明显。截至27日,比较11.05-11.13和11.19-11.27之间的交易数量,新交易数量达到4,275,比旧版本的交易数量高28%。

3.3.1推荐点击次数

推荐点击次数

UV

次数

旧版

30000

39300

新版

34200

44118

新版本增长

14.00%

12.25%

从上面的二维表中,实验在一周前后9天启动,旧版本的新版本增加了建议点击的14.00%和推荐点击的12.25%,这促使更多用户输入推荐的转换,导致更多订单。

让我们拆除不同推荐的点击次数:

推荐点击次数

旧版

新版

成长情况

UV

浏览历史记录

9000

7404

-17.73%

猜猜你喜欢什么

16000

20979

31.12%

尖峰

5000

5594

11.88%

次数

浏览历史记录

13048

9348

-28.36%

猜猜你喜欢什么

20474

27730

35.44%

尖峰

6064

6609

8.98%

可以看出,与旧版本相比,“猜你喜欢”和“尖峰”的推荐点击量显着增加。 “猜你喜欢”的增长是最明显的,紫外线和次数分别达到31.12%和35.44%。与此同时,“历史浏览”呈下降趋势,呈负增长趋势。

考虑到推荐位置的位置,“猜你喜欢”属于第一个屏幕,无需切换即可查看。因此,可以推测在产品显示模式改变为显示之后,虽然产品的曝光增加,但是仅限于一个屏幕的推荐屏幕。基于“猜你喜欢”的点击基数很大,因此整体推荐的点击次数也会增加。

同时,我们还发现第一个屏幕上的推荐位置会获得更高的曝光度,同时也会降低用户对其他推荐位置的注意力,导致非首屏推荐位(即推荐)用于制表切换的位)。点击量大幅下降。

涉及交易数据的维度拆分,使用联系属性(即,区分每个位置实际带来的交易转换,而不是用户通过此路径或操作转换,如Banner的实际销售效果,文本链接实际销售效果,实际销售效果事件页面)。

在这篇文章中,Youmeng +提供的产品尚未得到联系归属的支持,因此它涉及使用自行开发的数据系统进行尺寸分割分析的分析,下面同样如此。

3.3.2推荐的位事务状态

推荐交易情况

UV

次数

旧版

800

1314

新版

912

1674

新版本增长

14.22%

27.40%

从上面的二维表来看,新版本的新版本增加了推荐交易UV的14.22%和推荐交易的27.40%,这导致了更多的转换交易。

让我们拆除不同推荐的交易情况:

推荐的交易状态

旧版

新版

成长情况

UV

浏览历史记录

292

242

-17.14%

猜猜你喜欢什么

320

438

36.88%

尖峰

188

218

15.91%

次数

浏览历史记录

494

469

-5.10%

猜猜你喜欢什么

282

770

36.52%

尖峰

256

445

73.91%

从上面的观点来看,“秒杀”没有在修改过程中做出调整,只有UI界面修改,可能是秒杀产品的折扣强度问题,造成数值波动。我们主要分析了“历史浏览”和“猜你喜欢”的两个建议。结合上述3.3.1的分析,我们可以看到“猜你喜欢”交易的增长率与点击增长率相似,这符合预期。点击次数越来越多,交易越来越多。同时,“历史浏览”交易的比例远低于点击率,交易紫外线与点击紫外线的比例相似。据推测,用户可能会多次购买,导致交易比例下降,与预期不符。

3.3.3推荐的位转换

推荐的位转换

UV

次数

旧版

2.74%

3.44%

新版

2.75%

3.91%

新版本增长

0.30%

13.67%

从上面的二维表中,实验是在一周的第9天,新旧版本之间的比较表明,UV的交易转换率基本不变,且交易转换率的次数有增长13.67%。可以推测新版本已经为用户做出了贡献。多种交易行为。

让我们拆除不同推荐的转换:(仅拆解UV转换)

推荐的转化次数

旧版

新版

成长情况

UV

浏览历史记录

4.81%

4.65%

-3.30%

猜猜你喜欢什么

1.98%

2.09%

5.91%

尖峰

3.61%

3.67%

1.72%

“秘密”在修订过程中没有进行调整,只修改了UI界面。它主要是关于“历史浏览”和“猜你喜欢”的转换,你可以看到“历史浏览”转换率(4.65%)远高于“猜你喜欢”转换率(2.09%),而“猜测你喜欢的转换率”并没有因暴露的增加而大大改善。

4.迭代方向

4.1跳出率优化

(1)用户中心不是常规登录页面。它可以从用户来源启动。为什么它会降落在用户中心?然后分析来源;可能是站中的用户重新启动会话的当前页面,但页面关闭而没有进一步访问。

U-App AI版本可以查看用户访问路径,但没有具体的路径分析,拆分出站和入站排水的数据,并根据场景分析页面反弹。现有的整体路径分析入口如下:

基本看板功能使用页面访问路径

(2)作为登陆页面,在用户完成阅读后,不引导用户进一步访问该页面或者用户没有找到他想要的内容;同时,如果考虑新添加,有必要考虑默认页面本身位于功能导航页面上。

4.2优化交易时间

(1)当产品展示推出时,第一个屏幕的推荐位置将更高曝光,并且用户对其他推荐位置的注意力将被削弱,导致非推荐的第一个屏幕的点击量显着减少位置; p>

(2)结合3.3.1和3.3.2,我们知道“历史浏览”点击和交易仅次于第一个屏幕,“猜你喜欢”,但“历史浏览”的转化率要高于“历史浏览”。猜猜你喜欢什么“转换率(超过两倍)。因此,我们是否可以将”历史浏览“视为第一个屏幕,预计会大大增加我们在这里的交易次数。

新闻排行
  1. [QingzhenBaochiShundaKia4Sshop]Allmodelsarelimitedtimetobuy,welcometothestoretotestdrive,chooseyourf

    [QingzhenBaochiShundaKia4Sshop]Allmodelsarelimitedtimetobuy,welcometothestoretotestdrive,chooseyourf...

  2. “没时间”:中国人不运动的第一个原因。这是最近国家体育总局公布的“公共医学”的结果:只有14.7%的成年

    “没时间”:中国人不运动的第一个原因。这是最近国家体育总局公布的“公共医学”的结果:只有14.7%的成年...

  3. 最近,许多朋友转发媒体和舆论文章,关于无人商店的衰落,作为曾经梦想使用物联网和其他技术改变传统零售业

    最近,许多朋友转发媒体和舆论文章,关于无人商店的衰落,作为曾经梦想使用物联网和其他技术改变传统零售业...

  4. 7月8日,荆门市中级人民法院协调指示沙洋县法院对廖海滨的黑财产,辽海滨矿业公司50%股权和荆门市4家公司2

    7月8日,荆门市中级人民法院协调指示沙洋县法院对廖海滨的黑财产,辽海滨矿业公司50%股权和荆门市4家公司2...

  5.   想要看一个男生是舔狗男还是渣男,只要看他们在感情中的表现就知道了。有的男生没有尊严,一切都是以女

      想要看一个男生是舔狗男还是渣男,只要看他们在感情中的表现就知道了。有的男生没有尊严,一切都是以女...

  6. 7月4日,70多名食品宠儿,时尚潮人和媒体大型聚会聚集在武汉江城参加由金牌公司主办的“快乐辣虾,品味夏日

    7月4日,70多名食品宠儿,时尚潮人和媒体大型聚会聚集在武汉江城参加由金牌公司主办的“快乐辣虾,品味夏日...

  7. 原始搞笑团队2天前我想分享支撑是如此开放,脚在下降。它正在抨击这个一个重量级的女朋友有多好,再也不用?

    原始搞笑团队2天前我想分享支撑是如此开放,脚在下降。它正在抨击这个一个重量级的女朋友有多好,再也不用?...

  8. 临海,简称“林”,是浙江省台州市的一个县级市。它位于浙江沿岸的中部,长江三角洲经济圈的南翼,东部的东

    临海,简称“林”,是浙江省台州市的一个县级市。它位于浙江沿岸的中部,长江三角洲经济圈的南翼,东部的东...

  9. 临海,简称“林”,是浙江省台州市的一个县级市。它位于浙江沿岸的中部,长江三角洲经济圈的南翼,东部的东

    临海,简称“林”,是浙江省台州市的一个县级市。它位于浙江沿岸的中部,长江三角洲经济圈的南翼,东部的东...

  10.   今天(7月10日),一向反应非常灵敏的主持人谢娜,在自己的社交网站上发文分享道:“我和巨星杨迪约了?

      今天(7月10日),一向反应非常灵敏的主持人谢娜,在自己的社交网站上发文分享道:“我和巨星杨迪约了?...

日期归档
友情链接