ABTest 检验方法汇总

以下列举了ABTest中常用的检验方法,并把具体的实验内容附在链接中,通过具体案例能更好地掌握ABTest的用法:

比例指标(二分类)

**指标例子:**激活率、转化率、点击率、下单率、留存率

**特点:**只有两个结果(是/否,成功/失败),服从二项分布

2组样本比较:卡方检验、双样本比例Z检验 (样本量足够大时,卡方值 = Z²,结果完全一致)

多组样本比较(3组及以上):卡方检验

3组及以上的两两比较:2×2 卡方检验 + Bonferroni 校正

均值指标(连续型)

**指标例子:**人均下单量、平均在线时长、人均下单金额

**特点:**数值连续,大样本下近似正态分布

2组样本比较:独立样本t检验

同一批用户前后对比:配对样本t检验

多组样本比较(3组及以上):单因素 ANOVA

3组及以上的两两比较:Tukey HSD 检验

计数型指标

**指标例子:**用户7日下单次数、用户7日登录次数

**特点:**取值为非负整数,服从泊松分布

2组样本比较:泊松回归

多组样本比较(3组及以上):泊松回归 + 两两比较

汇总

|----------|--------|------------------------------------|------------------------------------------------------------------------------------------------------------------|
| 指标类型 | 场景 | 检验方法 | 案例 |
| 比例型指标 | 2组独立样本 | 卡方检验 或 Z检验 | |
| | 3组及以上 | 卡方检验 两两比较:2×2 卡方检验 + Bonferroni 校正 | 新用户引导ABTest |
| 均值型指标 | 2组独立样本 | 独立样本t检验 | |
| | 3组及以上 | 单因素 ANOVA 两两比较:Tukey HSD 检验 | |

相关推荐
蒸鱼Yuzheng8 小时前
游戏灰度发布怎么测:分群稳定、指标护栏、配置隔离与快速回滚
ab测试·灰度发布·风险控制·游戏测试·发布质量
deepdata_cn13 天前
互联网AB测试:本质就是最简单的因果推断
ab测试·因果推断
deepdata_cn16 天前
零基础学AB测试
ab测试
circuitsosk1 个月前
平台整体能力与功能特性设计:分群、联运、ABTest与运营位系统
python·机器学习·搜索引擎·ab测试·vllm·rag检索
ck-joker2 个月前
两个大模型同时翻车了--LLM应用A/B测试避坑实战
语言模型·ab测试
孟无岐2 个月前
埋点驱动调优:TapTap 数据反推卡点、LTV 推算与 A/B 测试实战
数据分析·ab测试·数据驱动·埋点·ltv·付费漏斗·留存优化
SelectDB2 个月前
Doris 实战:用 Colocate Join 消除 Shuffle,AB 指标计算性能提升 145 倍 🚀
数据库·性能优化·ab测试
阿标在干嘛3 个月前
从“拍脑袋”到“数据驱动”:政策平台的A/B测试实践
大数据·人工智能·算法·ab测试