以下列举了ABTest中常用的检验方法,并把具体的实验内容附在链接中,通过具体案例能更好地掌握ABTest的用法:
比例指标(二分类)
**指标例子:**激活率、转化率、点击率、下单率、留存率
**特点:**只有两个结果(是/否,成功/失败),服从二项分布
2组样本比较:卡方检验、双样本比例Z检验 (样本量足够大时,卡方值 = Z²,结果完全一致)
多组样本比较(3组及以上):卡方检验
3组及以上的两两比较:2×2 卡方检验 + Bonferroni 校正
均值指标(连续型)
**指标例子:**人均下单量、平均在线时长、人均下单金额
**特点:**数值连续,大样本下近似正态分布
2组样本比较:独立样本t检验
同一批用户前后对比:配对样本t检验
多组样本比较(3组及以上):单因素 ANOVA
3组及以上的两两比较:Tukey HSD 检验
计数型指标
**指标例子:**用户7日下单次数、用户7日登录次数
**特点:**取值为非负整数,服从泊松分布
2组样本比较:泊松回归
多组样本比较(3组及以上):泊松回归 + 两两比较
汇总
|----------|--------|------------------------------------|------------------------------------------------------------------------------------------------------------------|
| 指标类型 | 场景 | 检验方法 | 案例 |
| 比例型指标 | 2组独立样本 | 卡方检验 或 Z检验 | |
| | 3组及以上 | 卡方检验 两两比较:2×2 卡方检验 + Bonferroni 校正 | 新用户引导ABTest |
| 均值型指标 | 2组独立样本 | 独立样本t检验 | |
| | 3组及以上 | 单因素 ANOVA 两两比较:Tukey HSD 检验 | |