ABTest 检验方法汇总

以下列举了ABTest中常用的检验方法,并把具体的实验内容附在链接中,通过具体案例能更好地掌握ABTest的用法:

比例指标(二分类)

**指标例子:**激活率、转化率、点击率、下单率、留存率

**特点:**只有两个结果(是/否,成功/失败),服从二项分布

2组样本比较:卡方检验、双样本比例Z检验 (样本量足够大时,卡方值 = Z²,结果完全一致)

多组样本比较(3组及以上):卡方检验

3组及以上的两两比较:2×2 卡方检验 + Bonferroni 校正

均值指标(连续型)

**指标例子:**人均下单量、平均在线时长、人均下单金额

**特点:**数值连续,大样本下近似正态分布

2组样本比较:独立样本t检验

同一批用户前后对比:配对样本t检验

多组样本比较(3组及以上):单因素 ANOVA

3组及以上的两两比较:Tukey HSD 检验

计数型指标

**指标例子:**用户7日下单次数、用户7日登录次数

**特点:**取值为非负整数,服从泊松分布

2组样本比较:泊松回归

多组样本比较(3组及以上):泊松回归 + 两两比较

汇总

|----------|--------|------------------------------------|------------------------------------------------------------------------------------------------------------------|
| 指标类型 | 场景 | 检验方法 | 案例 |
| 比例型指标 | 2组独立样本 | 卡方检验 或 Z检验 | |
| | 3组及以上 | 卡方检验 两两比较:2×2 卡方检验 + Bonferroni 校正 | 新用户引导ABTest |
| 均值型指标 | 2组独立样本 | 独立样本t检验 | |
| | 3组及以上 | 单因素 ANOVA 两两比较:Tukey HSD 检验 | |

相关推荐
阿标在干嘛6 天前
从“拍脑袋”到“数据驱动”:政策平台的A/B测试实践
大数据·人工智能·算法·ab测试
阿标在干嘛8 天前
政策平台的推送系统:消息队列、定时任务、AB测试的工程实践
服务器·数据库·ab测试
紫昂张20 天前
AB测试:新用户引导
ab测试
我滴老baby24 天前
Agent上线后不知道效果好不好?用Python搭建A/B测试+效果评估平台完整实战
开发语言·人工智能·python·ab测试
邂逅you3 个月前
数据分析方法与框架
数学建模·数据挖掘·数据分析·ab测试·aarrr
学不完的3 个月前
ZrLog 高可用架构监控部署指南(Prometheus + Grafana)
linux·运维·架构·负载均衡·grafana·prometheus·ab测试
汽车仪器仪表相关领域3 个月前
便携即战力,全域无短板:PL-1 袖珍记录仪核心重构与场景落地全解
功能测试·重构·汽车·压力测试·可用性测试·ab测试
Apifox3 个月前
【测试套件】当用户说“我只想跑 P0 用例”时,我们到底在说什么
单元测试·测试·ab测试