数据分析学习笔记——A/B测试

目录

前言

A/B测试中的统计学方法

假设检验

[Levene's Test莱文测试](#Levene's Test莱文测试)

[t 检验(两组均值差异)](#t 检验(两组均值差异))

实战案例

数据来源及参考资料

代码详解

导入数据

计算ROI

Request检验

GMV检验

ROI检验

结语


前言

什么是A/B测试?说白了就是中学生物实验里常说的控制变量。实验对象分为A组(对照组)、B组(实验组)来测试某个行为的影响。在互联网企业,为了判断某个行为的效益,或者挑选更加合适的方案就会采用A/B测试。A/B测试的核心在于两组样本除了实验条件不一样,其他条件都一样。因此A/B测试依赖如下假设。

  • 每个因子水平的数据均呈正态分布
  • 案例独立性:样本案例应相互独立
  • 方差的同质性:同质性是指各组之间的方差应近似相等
  • 从因子水平定义的总体中独立且随机地获得观察结果

A/B测试中的统计学方法

假设检验

假设检验的原理其实是反证法。先对总体提出一个假设(原假设 ,再通过样本数据判断该假设是否成立。若样本数据与原假设矛盾,则拒绝 ,接受备择假设;反之,则不拒绝 。关键逻辑为小概率事件原理。假设检验依赖 "小概率事件在一次试验中几乎不会发生" 的原理:

  1. 若原假设成立,那么某个与其相关的事件A发生的概率极小。

  2. 若在一次抽样中,事件A竟然发生了,则有理由怀疑原假设的正确性。

也就是我们常说的具有统计学上的显著意义。而这个事件A的概率也就是我们常说的P值。而往往我们还会设定一个显著性水平,这个显著性水平是标准的小概率事件的概率(这么说不知道对不对啊,描述感觉不太严谨),由前人大量的实践得到的。当P值小于这个显著性水平时,则符合假设,因为这个小概率事件的概率比假定的标准还小。当P值大于这个显著性水平时,则怀疑假设,因为这个小概率事件的概率比假定的概率要大,那么原假设便值得怀疑。

Levene's Test莱文测试

Levene's test 主要用于检验多个组数据的方差是否相等,适用于两组或多组数据。

t 检验(两组均值差异)

适用于 正态分布数据 且 样本量较小(n≤30)的两组均值比较

实战案例

对滴滴打车的运营数据进行A/B测试,判断投入优惠卷对ROI、GMV、订单数量(requests)是否有影响。

数据来源及参考资料

工作台 - Heywhale.com

方差分析简介(结合COVID-19案例)

代码详解

导入数据

复制代码
#数据导入
import pandas as pd
test = pd.read_excel('test.xlsx')
test.head()

结果

计算ROI

复制代码
#计算ROI

test['ROI']=test['gmv']/(test['coupon per trip']*test['trips'])
test.head()

结果

其实这里有一个问题,这个成本对应的优惠券的投入成本,但是这里gmv是优惠券带来的利润增长,还是总利润呢?如果是总利润,那对应的是总成本。不能把其他行为带来的收益增长算到投入优惠券上去。

Request检验

复制代码
#levene检验requests是否齐方差

requests_A=test[test.group=='control'].requests
requests_B=test[test.group=='experiment'].requests

import scipy.stats as st
st.levene(requests_A,requests_B)
复制代码
#配对样本t检验(两独立样本t检验之前需检验是否齐方差,此处不需要)

st.ttest_rel(requests_A,requests_B)

GMV检验

复制代码
#levene检验gmv是否齐方差

gmv_A=test[test.group=='control'].gmv
gmv_B=test[test.group=='experiment'].gmv

st.levene(gmv_A,gmv_B)
复制代码
#配对样本t检验(两独立样本t检验之前需检验是否齐方差,此处不需要)

st.ttest_rel(gmv_A,gmv_B)

ROI检验

复制代码
#levene检验ROI是否齐方差

ROI_A=test[test.group=='control'].ROI
ROI_B=test[test.group=='experiment'].ROI

st.levene(ROI_A,ROI_B)
复制代码
#配对样本t检验(两独立样本t检验之前需检验是否齐方差,此处不需要)

st.ttest_rel(ROI_A,ROI_B)

结语

一起学习,共同进步!

相关推荐
charlee443 小时前
PandasAI连接LLM进行智能数据分析
ai·数据分析·llm·pandasai·deepseek
_Kayo_3 小时前
VUE2 学习笔记6 vue数据监测原理
vue.js·笔记·学习
chenchihwen3 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
超浪的晨3 小时前
Java UDP 通信详解:从基础到实战,彻底掌握无连接网络编程
java·开发语言·后端·学习·个人开发
使二颗心免于哀伤5 小时前
《设计模式之禅》笔记摘录 - 10.装饰模式
笔记·设计模式
悠哉悠哉愿意5 小时前
【电赛学习笔记】MaxiCAM 项目实践——与单片机的串口通信
笔记·python·单片机·嵌入式硬件·学习·视觉检测
快乐肚皮5 小时前
ZooKeeper学习专栏(五):Java客户端开发(原生API)详解
学习·zookeeper·java-zookeeper
慕y2745 小时前
Java学习第七十二部分——Zookeeper
java·学习·java-zookeeper
岩中竹6 小时前
广东省省考备考——常识:科技常识(持续更新)
笔记
★YUI★6 小时前
学习游戏制作记录(剑投掷技能)7.26
学习·游戏·unity·c#