数据分析学习笔记——A/B测试

目录

前言

A/B测试中的统计学方法

假设检验

[Levene's Test莱文测试](#Levene's Test莱文测试)

[t 检验(两组均值差异)](#t 检验(两组均值差异))

实战案例

数据来源及参考资料

代码详解

导入数据

计算ROI

Request检验

GMV检验

ROI检验

结语


前言

什么是A/B测试?说白了就是中学生物实验里常说的控制变量。实验对象分为A组(对照组)、B组(实验组)来测试某个行为的影响。在互联网企业,为了判断某个行为的效益,或者挑选更加合适的方案就会采用A/B测试。A/B测试的核心在于两组样本除了实验条件不一样,其他条件都一样。因此A/B测试依赖如下假设。

  • 每个因子水平的数据均呈正态分布
  • 案例独立性:样本案例应相互独立
  • 方差的同质性:同质性是指各组之间的方差应近似相等
  • 从因子水平定义的总体中独立且随机地获得观察结果

A/B测试中的统计学方法

假设检验

假设检验的原理其实是反证法。先对总体提出一个假设(原假设 ,再通过样本数据判断该假设是否成立。若样本数据与原假设矛盾,则拒绝 ,接受备择假设;反之,则不拒绝 。关键逻辑为小概率事件原理。假设检验依赖 "小概率事件在一次试验中几乎不会发生" 的原理:

  1. 若原假设成立,那么某个与其相关的事件A发生的概率极小。

  2. 若在一次抽样中,事件A竟然发生了,则有理由怀疑原假设的正确性。

也就是我们常说的具有统计学上的显著意义。而这个事件A的概率也就是我们常说的P值。而往往我们还会设定一个显著性水平,这个显著性水平是标准的小概率事件的概率(这么说不知道对不对啊,描述感觉不太严谨),由前人大量的实践得到的。当P值小于这个显著性水平时,则符合假设,因为这个小概率事件的概率比假定的标准还小。当P值大于这个显著性水平时,则怀疑假设,因为这个小概率事件的概率比假定的概率要大,那么原假设便值得怀疑。

Levene's Test莱文测试

Levene's test 主要用于检验多个组数据的方差是否相等,适用于两组或多组数据。

t 检验(两组均值差异)

适用于 正态分布数据 且 样本量较小(n≤30)的两组均值比较

实战案例

对滴滴打车的运营数据进行A/B测试,判断投入优惠卷对ROI、GMV、订单数量(requests)是否有影响。

数据来源及参考资料

工作台 - Heywhale.com

方差分析简介(结合COVID-19案例)

代码详解

导入数据

复制代码
#数据导入
import pandas as pd
test = pd.read_excel('test.xlsx')
test.head()

结果

计算ROI

复制代码
#计算ROI

test['ROI']=test['gmv']/(test['coupon per trip']*test['trips'])
test.head()

结果

其实这里有一个问题,这个成本对应的优惠券的投入成本,但是这里gmv是优惠券带来的利润增长,还是总利润呢?如果是总利润,那对应的是总成本。不能把其他行为带来的收益增长算到投入优惠券上去。

Request检验

复制代码
#levene检验requests是否齐方差

requests_A=test[test.group=='control'].requests
requests_B=test[test.group=='experiment'].requests

import scipy.stats as st
st.levene(requests_A,requests_B)
复制代码
#配对样本t检验(两独立样本t检验之前需检验是否齐方差,此处不需要)

st.ttest_rel(requests_A,requests_B)

GMV检验

复制代码
#levene检验gmv是否齐方差

gmv_A=test[test.group=='control'].gmv
gmv_B=test[test.group=='experiment'].gmv

st.levene(gmv_A,gmv_B)
复制代码
#配对样本t检验(两独立样本t检验之前需检验是否齐方差,此处不需要)

st.ttest_rel(gmv_A,gmv_B)

ROI检验

复制代码
#levene检验ROI是否齐方差

ROI_A=test[test.group=='control'].ROI
ROI_B=test[test.group=='experiment'].ROI

st.levene(ROI_A,ROI_B)
复制代码
#配对样本t检验(两独立样本t检验之前需检验是否齐方差,此处不需要)

st.ttest_rel(ROI_A,ROI_B)

结语

一起学习,共同进步!

相关推荐
笑衬人心。3 分钟前
Ubuntu 22.04 修改默认 Python 版本为 Python3 笔记
笔记·python·ubuntu
Brduino脑机接口技术答疑16 分钟前
脑机新手指南(二十一)基于 Brainstorm 的 MEG/EEG 数据分析(上篇)
数据挖掘·数据分析
镜舟科技16 分钟前
StarRocks × Tableau 连接器完整使用指南 | 高效数据分析从连接开始
starrocks·数据分析·数据可视化·tableau·连接器·交互式分析·mpp 数据库
金色光环24 分钟前
【Modbus学习笔记】stm32实现Modbus
笔记·stm32·学习
THMOM9143 分钟前
TinyWebserver学习(9)-HTTP
网络协议·学习·http
zyxzyx6661 小时前
Flyway 介绍以及与 Spring Boot 集成指南
spring boot·笔记
凌辰揽月1 小时前
Servlet学习
hive·学习·servlet
好开心啊没烦恼2 小时前
Python 数据分析:DataFrame,生成,用字典创建 DataFrame ,键值对数量不一样怎么办?
开发语言·python·数据挖掘·数据分析
魔芋红茶2 小时前
spring-initializer
python·学习·spring
西岭千秋雪_3 小时前
Redis性能优化
数据库·redis·笔记·学习·缓存·性能优化