Uplift模型系列一：评价指标

Uplift 模型的评价指标与传统的分类或回归模型的评价指标（如准确率、AUC、MSE 等）不同。这些指标旨在衡量 uplift 模型在识别"可说服者"（即对干预最敏感的个体）方面的能力。以下是常见的 uplift 模型评价指标及其详细说明：

一、Qini 曲线与 Qini 系数

Qini 曲线是 uplift 模型评估中最重要的可视化工具之一，用于衡量模型在识别**"可说服者"（即对干预最敏感的个体）方面的能力**。它通过展示随着样本数量增加，模型预测的累积 uplift 效果来反映模型性能。

排序: 将数据按照模型预测的 uplift 值从高到低排序。
分组: 将数据分为若干个子群体（例如按百分比分组）。
计算 uplift : 对每个子群体，计算实际的 uplift 值：
Uplift = P ( Response ∣ Treatment ) − P ( Response ∣ Control ) \text{Uplift} = P(\text{Response} | \text{Treatment}) - P(\text{Response} | \text{Control}) Uplift=P(Response∣Treatment)−P(Response∣Control)
其中 P ( Response ∣ Treatment ) P(\text{Response} | \text{Treatment}) P(Response∣Treatment) 是干预组的响应率， P ( Response ∣ Control ) P(\text{Response} | \text{Control}) P(Response∣Control) 是对照组的响应率。
累积 uplift: 计算每个子群体的累积 uplift 效果，即将当前子群体及之前所有子群体的 uplift 值累加。
绘制曲线: 以样本比例为横轴，累积 uplift 效果为纵轴，绘制 Qini 曲线。

Qini 系数是 Qini 曲线下面积（AUQC, Area Under the Qini Curve），用于量化 uplift 模型的整体性能。

理想曲线: 如果模型能够完美区分"可说服者"和"不可说服者"，则 Qini 曲线会接近理想曲线。
随机曲线: 如果模型无法区分干预效果，则 Qini 曲线会接近随机曲线（即对角线）。
Qini 系数计算 :
Qini Coefficient = Area under the Qini Curve Area under the Ideal Qini Curve \text{Qini Coefficient} = \frac{\text{Area under the Qini Curve}}{\text{Area under the Ideal Qini Curve}} Qini Coefficient=Area under the Ideal Qini CurveArea under the Qini Curve
Qini 系数的取值范围通常在 [0, 1] 之间，值越大表示模型性能越好。

AUUC 是 uplift 曲线下面积，用于量化 uplift 模型的整体性能。Uplift 曲线类似于 Qini 曲线，但它更关注 uplift 效果的绝对值，而不是相对值。

排序: 将数据按照模型预测的 uplift 值从高到低排序。
分组: 将数据分为若干个子群体（例如按百分比分组）。
计算 uplift : 对每个子群体，计算实际的 uplift 值：
Uplift = P ( Response ∣ Treatment ) − P ( Response ∣ Control ) \text{Uplift} = P(\text{Response} | \text{Treatment}) - P(\text{Response} | \text{Control}) Uplift=P(Response∣Treatment)−P(Response∣Control)
累积 uplift: 计算每个子群体的累积 uplift 效果。
绘制曲线: 以样本比例为横轴，累积 uplift 效果为纵轴，绘制 uplift 曲线。
计算面积: 计算 uplift 曲线下的面积，得到 AUUC。

Qini 曲线与 Qini 系数:
- 更注重 uplift 模型的相对性能，能够直观地展示模型对"可说服者"的识别能力。
- 适用于需要对比多个 uplift 模型的场景。
AUUC:
- 更注重 uplift 模型的绝对性能，能够量化 uplift 模型在整个样本分布上的表现。
- 适用于需要评估 uplift 模型整体效果的场景。