ABTest 检验方法汇总

以下列举了ABTest中常用的检验方法,并把具体的实验内容附在链接中,通过具体案例能更好地掌握ABTest的用法:

比例指标(二分类)

**指标例子:**激活率、转化率、点击率、下单率、留存率

**特点:**只有两个结果(是/否,成功/失败),服从二项分布

2组样本比较:卡方检验、双样本比例Z检验 (样本量足够大时,卡方值 = Z²,结果完全一致)

多组样本比较(3组及以上):卡方检验

3组及以上的两两比较:2×2 卡方检验 + Bonferroni 校正

均值指标(连续型)

**指标例子:**人均下单量、平均在线时长、人均下单金额

**特点:**数值连续,大样本下近似正态分布

2组样本比较:独立样本t检验

同一批用户前后对比:配对样本t检验

多组样本比较(3组及以上):单因素 ANOVA

3组及以上的两两比较:Tukey HSD 检验

计数型指标

**指标例子:**用户7日下单次数、用户7日登录次数

**特点:**取值为非负整数,服从泊松分布

2组样本比较:泊松回归

多组样本比较(3组及以上):泊松回归 + 两两比较

汇总

|----------|--------|------------------------------------|------------------------------------------------------------------------------------------------------------------|
| 指标类型 | 场景 | 检验方法 | 案例 |
| 比例型指标 | 2组独立样本 | 卡方检验 或 Z检验 | |
| | 3组及以上 | 卡方检验 两两比较:2×2 卡方检验 + Bonferroni 校正 | 新用户引导ABTest |
| 均值型指标 | 2组独立样本 | 独立样本t检验 | |
| | 3组及以上 | 单因素 ANOVA 两两比较:Tukey HSD 检验 | |

相关推荐
ck-joker13 天前
两个大模型同时翻车了--LLM应用A/B测试避坑实战
语言模型·ab测试
孟无岐15 天前
埋点驱动调优:TapTap 数据反推卡点、LTV 推算与 A/B 测试实战
数据分析·ab测试·数据驱动·埋点·ltv·付费漏斗·留存优化
SelectDB25 天前
Doris 实战:用 Colocate Join 消除 Shuffle,AB 指标计算性能提升 145 倍 🚀
数据库·性能优化·ab测试
阿标在干嘛2 个月前
从“拍脑袋”到“数据驱动”:政策平台的A/B测试实践
大数据·人工智能·算法·ab测试
阿标在干嘛2 个月前
政策平台的推送系统:消息队列、定时任务、AB测试的工程实践
服务器·数据库·ab测试
紫昂张2 个月前
AB测试:新用户引导
ab测试
我滴老baby2 个月前
Agent上线后不知道效果好不好?用Python搭建A/B测试+效果评估平台完整实战
开发语言·人工智能·python·ab测试
邂逅you4 个月前
数据分析方法与框架
数学建模·数据挖掘·数据分析·ab测试·aarrr