文章目录
-
- 1.1、评估排序算法
- 1.2、评估召回算法
-
- 1.2.1、Precision&Recall
- 1.2.2、MAP
- [1.2.3、Hit Rate](#1.2.3、Hit Rate)
- 1.2.4、持续评估
-
- 2.1、线上：流量划分
-
- [2.1.1、根据User ID划分流量](#2.1.1、根据User ID划分流量)
- 2.1.2、分层重叠划分流量
- 2.1.3、A/A实验的重要性
- 2.2、线下：统计分析
-
模型上线前需要进行离线评估；模型上线后需要进行在线评估。
-
推荐系统的评估流程：
1）离线评估：在相同的训练集上，不同算法训练出新旧两版模型，在同一个测试集上进行评估。若新模型的指标优于旧模型，则通过离线测试，可进入下一阶段。注意：离线评估的训练集一般采用连续3天或7天的历史数据；在第4天或第8天的数据上测试
2）上线前回溯：新模型在上线评估之前必须先进行回溯，比如自两周前的历史数据开始训练，直到追平并接入线上的实时样本流。之后，新旧模型就能够同步接收线上的实时反馈并自我更新，才能进行后续A/B实验的在线评估
3）在线评估：A/B 实验，随机划分为两份流量：控制组（流入老模型）；实验组（流入新模型，可以有多个）。实验一段时间后，统计关键业务指标（例如CTR、平均观看时长等），若实验组显著优于控制组，就认为新模型优于旧模型，可考虑推广至全部流量
1、离线评估
- 主要针对排序（粗排和精排）和召回算法，存在不同的评估指标
1.1、评估排序算法
1.1.1、AUC和GAUC
- 评估排序模型最重要的指标是AUC（ROC曲线下面积，以TPR和FPR分别为纵坐标和横坐标 ）
- AUC更为直观的解释：模型给一堆样本（正负类别标签已知）预测打分，然后将他们从大到小排序，正样本能够正确排在负样本前面的概率就是AUC
A U C = 正确排序的样本对 所有样本对 AUC = \frac{正确排序的样本对}{所有样本对} AUC=所有样本对正确排序的样本对
一个正样本和负样本可组成一个样本对
正确排序是指按概率，将正样本排在负样本之前
下图显示的AUC为7/9
- 从上述定义来看，AUC天然适合衡量模型的排序性能，然而AUC体现的是全局的性能，会将所有用户的排序结果都考虑进来，可能会存在失真，因此可以引入GAUC（Groupwise AUC），将样本划分为group，每个group计算一个AUC，最后再加权平均
- 一般以用户为单位划分group计算GAUC：
G A U C = ∑ u w u A U C u ∑ u n u GAUC = \frac{ {\textstyle \sum_{u}w_uAUC_u} }{\sum_{u}n_u} GAUC=∑unu∑uwuAUCu
A U C u AUC_u AUCu是在用户u的样本上计算的AUC， n u n_u nu是给用户u曝光过的物料数目
- 由于AUC/GAUC只能针对的是二分类，对于CTR、CVR指标是可以的，针对实数型目标（比如观看时长、销售金额），可以转换为二分类目标，例如是否会有效播放（观看超过15秒）、是否会长播放
1.1.2、NDCG
- 需要注意的一点是，物料在展示列表的位置可以反映物料的价值（越靠前，价值越高）
- 而AUC无法反应排序位置这个因素的影响
- 因此，引入DCG（Discounted Cumulative Gain）指标：
D C G @ K = ∑ k = 1 K 2 c k − 1 l o g 2 k + 1 DCG@K = \sum_{k=1}^{K}\frac{2^{c_k}-1}{log_2{k+1}} DCG@K=k=1∑Klog2k+12ck−1
- K是排序结果的长度
- c k c_k ck是第k个位置的物料贡献，未点击为0，点击为观看时长、点赞等的函数
- 从上述公式可看出，越靠后的位置，其DCG越大
- 为了做归一化，定义理想情况下的DCG为IDCG，即按照物料的真实贡献从高到低排序计算出的DCG，然后得到NDCG（Normalized DCG）：
N D C G @ K = D C G @ K I D C G @ K NDCG@K = \frac{DCG@K}{IDCG@K} NDCG@K=IDCG@KDCG@K - 由于排序长度不同，直接计算DCG不易比较，而归一化后的NDCG可以进行比较
1.2、评估召回算法
- 评估召回模型时，一般不用AUC这样强调排序性能的指标
如果用AUC进行评估，正样本为点击过的样本，而负样本若为曝光未点击的样本，与召回的真实样本情况（包含大量和用户毫不相关的样本）不符；若负样本为除点击之外的其他物料，也不能保证这些物料一定不喜欢
＊因此，要避免直接统计负样本，而是从预测的正样本与真实的正样本之间的命中率、覆盖度角度进行评估
1.2.1、Precision&Recall
- 以双塔召回模型为例，可进行如下P和R值的计算：
u i u_i ui表示第i次推荐请求的用户
T i e x p o s e T_i^{expose} Tiexpose表示第i次请求中向用户曝光的物料集合
T i c l i c k T_i^{click} Ticlick表示用户点击的物料集合
- 计算得到的** P r e c i s i o n @ K Precision@K Precision@K：平均下来，每次召回的物料中真正被用户喜欢的占比； R e c a l l @ K Recall@K Recall@K：平均下来，一个用户真正喜欢的物料中有多大占比能被模型召回。**
1.2.2、MAP
- Precision和Recall是一对此消彼长的指标，即召回的越多，Recall越高，Precision会随之下降
- 因此采用AP值来衡量召回能力比P和R值更全面，计算过程为：设置不同i值，即取前i个物料作为召回结果计算PR曲线，以及曲线下面积即为AP。AP值的计算方法如下：
A P @ K = ∑ i = 1 K P r e c i s i o n @ i × I s P o s i t i v e @ i T o t a l P o s i t i v e s AP@K = \frac{ {\textstyle \sum_{i=1}^{K}}Precision@i\times IsPositive@i }{TotalPositives} AP@K=TotalPositives∑i=1KPrecision@i×IsPositive@i
- K表示最大的召回数量
- TotalPositives表示本次召回中用户喜欢物料的数目
- Precision@i表示前i个召回结果的Precision
- IsPositive@i表示第i个召回结果是否为用户所喜欢，喜欢为1，不喜欢为0
- 将多次召回结果的AP取平均，几位MAP，可以用来衡量模型的整体召回性能
- 例子和具体计算流程如下：
1.2.3、Hit Rate
- Hit Rate表示在N条点击记录中，有多少物料可以被召回模型所覆盖
1.2.4、持续评估
- 模型需要实时地持续更新，同时也需要持续评估
- 为了实现无偏的估计，常采用Progressive Validation的方法
1）模型拿到最新一批的用户反馈后，先进行前向传播得到预测结果
2）一边反向传播更新模型，一边拿预测结果与用户反馈真值计算各种评估指标
- 这种方式可以共用前向传播环节，避免重复计算；同时由于模型未更新，基于当前预测结果的指标是无偏的，更可信
2、在线评估
- A/B实验是推荐系统中的最常用的线上评估方式，思路如下：
1）将用户流量随机划分为控制组和实验组
2）控制组流量流入老模型，实验组流量流入新模型，其中只有模型不同，其余的用户分布、物料分布等必须完全相同
3）上线实验一段时间，积累足够多的用户反馈
4）根据收集到的用户反馈，统计关键业务指标
5）若实验组的指标优于控制组，可以考虑新模型替换旧模型
- A/B实验更加客观、公平可靠，但是其整个实验系统功能复杂、实现难度高，并且要求进行足够长的时间，至少覆盖一个完整的周期，例如一周（周中和周末不一样）
- 下面介绍线上实验和线下分析的关键知识点
2.1、线上：流量划分
- 线上的流量划分需要遵循以下两个原则，以保证两组流量的同分布原则：
1）随机性：一个用户被划分到控制组和实验组是完全随机的
2）确定性：当一个用户被划分到哪个组，今后的访问也必须在相同的组
2.1.1、根据User ID划分流量
- 最简单的方式是根据User ID随机划分到控制组和实验组
- 但是这种方式最大问题在于，一个用户一次只能进行一个实验，例如召回和精排很容易就将全部流量占满了，而通常有很多实验需要上线验证，就会导致排队阻塞的问题。
- 因此一般利用分层重叠的方式
2.1.2、分层重叠划分流量
- 分层划分的思想如下：
1）如果进行N个实验，就将流量划分为N层，每个实验独占一层流量
2）同一层实验的各个实验组的流量是互斥的，即一个用户只会被划分到一个组里
3）不同层的实验，流量是重叠的，一个用户可以被分配到不同层的多个组里
- 这种方式中，上下层的实验的流量完全正交，用户流量在前几层实验的不同划分，并不会在后续实验引入偏差。
- 需要注意的是，Layer层并没有层次的关系，就只是指的不同的实验，并且流量在进入一个新的实验前会被重新打散
2.1.3、A/A实验的重要性
- A/A实验就是在控制组和实验组采用完全相同的配置
- 在进行正式的A/B实验前最好先进行一段时间的A/A实验，检验实验的两组流量是否存在偏差
2.2、线下：统计分析
- 可以通过显著性检验的方式验证新模型的性能，是否显著优于旧模型
- 常会遇到I类错误和II类错误
2.3、其他事项
- 在做出新模型推广至全部流量的决定时，还要综合来考虑业务收益的性价比，如果只有微小提升，对业务的影响微乎其微，就不值得推广
- 不止要考虑在全体流量上的结果，也要考察在细分流量上的差异（例如新老客户、不同国家、不同频道等）
参考书籍：
《互联网大厂推荐算法实战》