abtest

AB实验的关键认知（十四）实验复盘与总结—关注作者，送A/B实验实战工具包很多团队做 AB 实验，往往止步于“看数据、定输赢、发全量”这三板斧。一旦决策完成，Jira 单一关，文档一扔，这个实验就算结束了。

AB实验的关键认知（十一）A/A实验—关注作者，送A/B实验实战工具包在前面十篇中，我们聊了 P 值、MDE、分层分流等各种“术”。但所有这些技术都有一个共同的前提假设：我们的实验平台是公正的。

AB实验的关键认知（十二）黄金时刻-最大统计功效阶段-MPR—关注作者，送A/B实验实战工具包还记得我们在“SQR 放量框架”中提到的那个黄金时段吗？当灰度期的风险排除完毕，流量拉升到 50% vs 50%，实验就正式进入了 MPR (Maximum Power Ramp) 阶段。

AB实验的关键认知（八）实验流量规划—关注作者，送A/B实验实战工具包很多刚接触 AB 实验的同学，认为“做实验”就是简单的三步走：如果你是这么想的，那你只看到了冰山一角。作为一名资深的数据科学家，我在审核实验方案时，80% 的精力都花在了一个问题上：流量规划 (Traffic Planning)。

AB实验的关键认知（六）分流单元与分析单元—关注作者，送A/B实验实战工具包在设计 AB 实验时，我们经常会遇到这样的灵魂拷问： “这个实验是按人 (User) 分流，还是按访问 (Session) 分流？” “我按人分流了，最后能不能算点击率 (CTR) 的 P 值？”

AB实验的关键认知（五）综合评估标准 OEC—关注作者，送A/B实验实战工具包在 AB 实验的决策会议上，最让人头秃、也最容易引发“撕逼”的场景往往是这样的：

AB实验的关键认知（一）正交实验与互斥实验—关注作者，送A/B实验实战工具包做 AB 实验平台架构，最核心的挑战只有一个：流量是有限的，而实验需求是无限的。

AB实验的统计学内核（八）：方差陷阱——从自由度到Delta Method—关注作者，送A/B实验实战工具包在构建自研AB实验平台或手写SQL计算显著性时，工程师往往会在“方差计算”这一步卡壳。

AB实验的统计学内核（七）：统计显著性 vs 业务显著性—关注作者，送A/B实验实战工具包在AB实验的复盘会上，经常出现这样一种诡异的场景：数据分析师指着大屏幕说：“实验组对比对照组，核心指标提升了 0.05%，P值小于 0.05，结果统计显著，建议全量上线。” 产品经理却皱着眉头：“费了半个月开发资源，就涨了 0.05%？这点涨幅连覆盖服务器扩容的成本都不够，这也能叫‘显著’？”

AB实验的统计学内核（五）：样本同质性、选择偏差与SRM在之前的章节中，我们讨论了正态分布和中心极限定理，那是解决“怎么算 P 值”的问题。但在工业界实战中，毁掉一个实验的往往不是 P 值算错了，而是数据源头就错了。

AB实验的统计学内核（六）：最小样本量与MDE的博弈做 AB 实验时，业务方（PM/运营）和数据科学家（DS）之间永远存在一场拉锯战：这个问题看似简单，实则触及了 AB 实验的成本核心。样本量不是拍脑袋定的，它是由你想要多大的“确定性”和多精细的“分辨率”决定的。

AB实验的统计学内核（一）：容易混淆的各种“误差”做 AB 实验分析时，最劝退新人的往往不是复杂的算法，而是那一堆长得像孪生兄弟的基础名词：方差、标准差、标准误差、均方误差……

AB实验的统计学内核（三）：一类错误与二类错误的生死结做AB实验，本质上是在不确定性中寻找确定性。我们无法上帝视角全知全能，只能通过样本去推断总体。既然是推断，就一定存在犯错的概率。

AB实验的统计学内核（二）：从P值、置信区间到T检验的工业级解构做AB实验，本质上是在充满噪声的样本数据海洋里，去精准推断全量总体的真实效应。当你看到实验组比对照组提升了 1% 时，最先要回答的问题不是“这 1% 能带来多少收益”，而是“这 1% 到底是真实的用户行为改变，还是流量波动带来的随机巧合？”。

携程旅行 abtest航空网站的逆向难度感觉还是整体偏大，反爬力度环境检验是真的严格。有很多我都不知道怎么调用看的头晕，特别是国内的某kun反爬力度太大了研究了很久监测点大概都知道但是太多了了补都补不完。不过他是个简单的aes ecb加密。这是abtest值生成的地方，跟栈你会看见一个window.eval(‘code script')。那就是加密地方。

我是有底线的