ABTest 检验方法汇总

以下列举了ABTest中常用的检验方法,并把具体的实验内容附在链接中,通过具体案例能更好地掌握ABTest的用法:

比例指标(二分类)

**指标例子:**激活率、转化率、点击率、下单率、留存率

**特点:**只有两个结果(是/否,成功/失败),服从二项分布

2组样本比较:卡方检验、双样本比例Z检验 (样本量足够大时,卡方值 = Z²,结果完全一致)

多组样本比较(3组及以上):卡方检验

3组及以上的两两比较:2×2 卡方检验 + Bonferroni 校正

均值指标(连续型)

**指标例子:**人均下单量、平均在线时长、人均下单金额

**特点:**数值连续,大样本下近似正态分布

2组样本比较:独立样本t检验

同一批用户前后对比:配对样本t检验

多组样本比较(3组及以上):单因素 ANOVA

3组及以上的两两比较:Tukey HSD 检验

计数型指标

**指标例子:**用户7日下单次数、用户7日登录次数

**特点:**取值为非负整数,服从泊松分布

2组样本比较:泊松回归

多组样本比较(3组及以上):泊松回归 + 两两比较

汇总

|----------|--------|------------------------------------|------------------------------------------------------------------------------------------------------------------|
| 指标类型 | 场景 | 检验方法 | 案例 |
| 比例型指标 | 2组独立样本 | 卡方检验 或 Z检验 | |
| | 3组及以上 | 卡方检验 两两比较:2×2 卡方检验 + Bonferroni 校正 | 新用户引导ABTest |
| 均值型指标 | 2组独立样本 | 独立样本t检验 | |
| | 3组及以上 | 单因素 ANOVA 两两比较:Tukey HSD 检验 | |

相关推荐
我滴老baby4 天前
Agent上线后不知道效果好不好?用Python搭建A/B测试+效果评估平台完整实战
开发语言·人工智能·python·ab测试
邂逅you2 个月前
数据分析方法与框架
数学建模·数据挖掘·数据分析·ab测试·aarrr
学不完的2 个月前
ZrLog 高可用架构监控部署指南(Prometheus + Grafana)
linux·运维·架构·负载均衡·grafana·prometheus·ab测试
汽车仪器仪表相关领域3 个月前
便携即战力,全域无短板:PL-1 袖珍记录仪核心重构与场景落地全解
功能测试·重构·汽车·压力测试·可用性测试·ab测试
Apifox3 个月前
【测试套件】当用户说“我只想跑 P0 用例”时,我们到底在说什么
单元测试·测试·ab测试
科技块儿3 个月前
【数据亲测】商业IP库在广告ab测试中的roi提升效果分析
网络·tcp/ip·ab测试
CZlNFGPr4 个月前
单相Boost PFC移相全桥整机Matlab Simulink仿真模型 2kwboost单相PFC
ab测试
测试_AI_一辰4 个月前
项目实践笔记 9:打卡/日报Agent项目Bug 修改与稳定性收口(v1.0)
android·开发语言·人工智能·功能测试·ai编程·ab测试
十二测试录5 个月前
Android和iOS测试区别
android·经验分享·ios·职场发展·ab测试