从0开始学习R语言--Day25--A/B测试 vs 多臂老虎机

通常在比较两个不同的方案对数据的影响时，我们会各拿50%的数据去进行对照试验，这样观测到的结果会最大程度地保留统计学上的特点。但实际上，并不是所有对比不同方案都要这样做，一来，我们需要等到两组实验都完全结束后，才能知道结果如何，等待时间周期较长；二来，在很多场景中，差的方案会在落地测试时不可避免地对用户造成不好的体验。

后者对应的一般是在用户的实时反馈和广告的点击率上，那么这种情况，我们会采用动态规划的方式，随着实验的进行，不断地减少差方案的数据，通过这种迭代的方式来降低额外的损失，从而实现快速地聚焦到优质方案。当然，这样做会在一定程度上破坏数据的分布，统计显著性会减弱。

以下是一个例子：

R 复制代码

library(bayesAB)
# 生成模拟数据集：3个广告版本（A/B/C）的点击率
# 生成模拟数据集：每天随机选一个广告测试
set.seed(123)
n_days <- 25  # 测试5天
true_rates <- c(A = 0.1, B = 0.15, C = 0.2)  # 真实点击率

generate_data <- function(day) {
  chosen_ad <- sample(c("A", "B", "C"), 1)  # 每天随机选一个广告
  impressions <- sample(100:500, 1)
  clicks <- rbinom(1, size = impressions, prob = true_rates[chosen_ad])
  data.frame(
    day = day,
    ad_version = chosen_ad,
    impressions = impressions,
    clicks = clicks
  )
}

ad_data <- do.call(rbind, lapply(1:n_days, generate_data))
head(ad_data)

# 多臂老虎机算法（Epsilon-Greedy）
run_bandit <- function(data, epsilon = 0.1) {
  total_rewards <- c(A = 0, B = 0, C = 0)
  total_trials <- c(A = 0, B = 0, C = 0)
  choices <- character(n_days)
  
  for (day in 1:n_days) {
    day_data <- subset(data, day == day)
    if (nrow(day_data) == 0) next
    
    if (runif(1) < epsilon) {
      chosen_ad <- sample(day_data$ad_version, 1)  # 从当天实际广告中随机选
    } else {
      ctr <- ifelse(total_trials > 0, total_rewards / total_trials, 0)
      chosen_ad <- names(which.max(ctr))
    }
    
    # 只取第一个匹配项（避免多行问题）
    ad_data <- subset(day_data, ad_version == chosen_ad)[1, ]
    if (!is.na(ad_data$ad_version)) {
      total_rewards[chosen_ad] <- total_rewards[chosen_ad] + ad_data$clicks
      total_trials[chosen_ad] <- total_trials[chosen_ad] + ad_data$impressions
      choices[day] <- chosen_ad
    }
  }
  
  prop.table(table(choices[choices != ""]))
}

result <- run_bandit(ad_data)
print(paste("最终选择比例:", round(result * 100, 1), "%"))

输出：

R 复制代码

[1] "最终选择比例: 24 %" "最终选择比例: 76 %"

结果显示，在25天的模拟中，多臂老虎机算法最终分配了24%的流量给某个广告版本（可能是A或B），76%给另一个版本，符合原理的表现，同时24%的数据给另一个方案则保留了可能万一真的忽略了潜在方案的可能。