abtest是什么意思,3分钟看懂ABtest基本原理

ABtest原理是什么,其实ABtest的基本原理是当我们在A、B两个方案之间犹豫时,直接把两个方案测试一把,看看哪个效果好,把测试结果作为参考依据,但是ABtest的难度主要在开发上:开发新版本、进行测试、测试数据回传保存等等。

一、ABtest的基本原理

简单来说,ABtest就是当我们在A、B两个方案之间犹豫不决的时候,直接把两个方案测试一把,看看哪个效果好,把测试结果作为参考依据。
因为是抽样测试,所以需要一些统计学方法,估计是否测试能代表整体情况,因此要引用统计学方法。

二、ABtest如何做

ABtest本质上是一个:两总体假设检验问题,要检验A、B两个版本是一样,还是有所区别。和之前介绍的单总体假设检验一样,两总体假设检验,也分步骤:

第一步:明确要检验的A、B两个对象

第二步:明确要检验的指标,是平均值,还是比例

第三步:根据检验目的,给出原假设/备选假设

第四步:根据要检验的指标,选择检验统计量(是不是头都看大了,其实没关系,大部分统计软件,包括excel,都有提供两样本均值的t检验,直接用即可)。

abtest是什么意思,3分钟看懂ABtest基本原理

第五步:给定显著性水平,计算统计量,得出结果:支持原假设还是推翻原假设

abtest是什么意思,3分钟看懂ABtest基本原理

这里的原理和假设检验是一模一样的,小伙伴们可简单理解成:检验的是两个方案的均值/比例,是否等于0。

是不是头又看大了,没关系,这些计算结果在统计软件中都可以直接给出。小伙伴们只要记得:P值小于0.05推翻原假设,就OK啦!

三、ABtest小例子

来看个具体例子:某电商平台,想提升用户客单价,运营部门做了两套方案:A、B激励方案,想小规模投放优惠给用户,测试下效果。已选出两组各12名用户,测试用户客单价如下图所示。此时可以用excel自带的两总体t检验功能来做:
  • 第一步,先准备好A、B两个方案的数据

abtest是什么意思,3分钟看懂ABtest基本原理

  • 第二步:明确,要检验的是平均值(检验两个方案的平均客单价是否一致);
  • 第三步:给出原假设。这里可以简单处理,提假设;
  1. 原假设:方案A客单价均值=方案B客单价均值;
  2. 备选假设:两者不相等。
这样怼翻了原假设,就说明方案A和方案B有差异啦(记得把要怼翻的放原假设哦)
  • 第四步:代入t检验公式计算;

abtest是什么意思,3分钟看懂ABtest基本原理

  • 第五步:解读结论。

abtest是什么意思,3分钟看懂ABtest基本原理

既然方案A与方案B不同,A的均值又高于B,那么就认为A更好啦,搞掂!

这样就做完啦!

四、ABtest的注意事项

注意1:测试目标要清晰。在实际工作中,有些产品经理/运营的口头禅就是:“AB一下看看”。可如果目标都没确定的话,连如何写假设,如何找检验统计量都无法确定,更没办法定怎么测试了。
特别注意的是,在一次测试中,是很难兼容两个目标的。比如上边的小例子,如果想提升用户客单价,则要推的是贵的商品,要给的激励是满减型激励,让用户买贵一点。
如果想提升用户消费率,则要推的是便宜的商品,要给的激励是秒杀/超低价,让用户先买一笔再说。这两个目标是很难在一个方案A/B里兼容的。
所以小伙伴们,千万别信了产品经理/运营“你先测测看看”的鬼话。如果一开始目标都很混乱,那方案肯定也是四不像,测出来结果乱七八糟,也是很正常的。事前不想清楚,事后只能瞎着急。
注意2:测试方案合理性。有些测试方案本身设计得就不合理,不是拿相似的方案测试,而是明显一个方案很优惠,一个很鸡肋;一个设计很美观,一个设计很丑陋。这种情况下测了也白测。测试方案本身,要是苹果对苹果,西瓜对西瓜才行。
注意3:测试对象相似性。还以上边小例子举例。参与测试的用户群体,可能自身在客单价/消费力上就有差异。这种测试特征的差异,会直接导致:结果上的差异是由于客群特征,而非方案A/B造成的。这是最差的情况了,这样不但会导致测试无效,而且会误导业务判断。

四、Abtest的局限性

正是由于有以上三点要求,导致ABtest是有门槛的:
  • 要有能力设计相近版本方案;
  • 要有足够开发支持,把方案落地;
  • 要有足够的用户数据,区分用户特征。
这些使得ABtest只有在数据充足、开发资源充足、业务方资源充足且没有私心的时候,才能完美落地。因此,虽然ABtest的原理很简单,但是具体应用,还需要结合实际情况做考虑。具体细节,后续再分享。

-END-

特别申明:本站的主旨在于收集互联网运营相关的干货知识,给运营小伙伴提供便利。网站所收集到的公开内容均来自于互联网或用户投稿,并不代表本站认同其观点,也不对网站内容的真实性负责,如有侵权,请联系站长删除,转载请注明出处:https://www.yunyingdog.cn/84803.html。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

联系方式

QQ:1124602020
微信:vl54120
备注:周一至周五全天在线,周末可能不在线,另外联系时,请告知来意。

公众号
公众号
交流群
交流群
分享本页
返回顶部