什么是泛化能力？
通常我们用泛化能力来评判一个模型的好坏，通俗的说，泛化能力是指一个机器学期算法对新样本（即模型没有见过的样本）的举一反三的能力，也就是学以致用的能力。
举个例子，高三的学生在高考前大量的刷各种习题，像五年高考三年模拟、三年高考五年模拟之类的，目的就是为了在高考时拿到一个好的分数，高考的题目就是新题，一般谁也没做过，平时的刷题就是为了掌握试题的规律，能够举一反三、学以致用，这样面对新的题目也能从容应对。这种规律的掌握便是泛化能力，有的同学很聪明，考上名校，很大程度上是该同学的泛化能力好。
在机器学习中，对于分类和回归两类监督学习，分别有各自的评判标准，这里我们讨论常用于分类任务的性能度量标准------AUC 和 ROC。
几个重要概念：混淆矩阵、准确率、精准率和召回率
1. 混淆矩阵
假设我们建立的是二分类模型，将实际类别和预测类别进行两两组合，就形成了混淆矩阵。
| 真实情况 | 预测结果 | |
|---|---|---|
| 正例 | 反例 | |
| 正例 | TP（真正例） | FN（假反例） |
| 反例 | FP（假正例） | TN（真反例） |
接下来的性能度量指标都是由混淆矩阵的各个元素计算得来。
2. 准确率
准确率 = T P + T N T P + T N + F P + F N 准确率=\frac{TP+TN}{TP+TN+FP+FN} 准确率=TP+TN+FP+FNTP+TN
在样本均衡的情况下，准确率是一个适用的性能度量指标，但是，在样本不平衡的情况下，并不能很好的衡量结果。例如，在信用风险评估中，正样本为 90%，负样本（发生违约的样本）为 10%，样本严重失衡，在这种情况下，即使我们全部将样本预测为正样本，正确率也会达到 90%的高准确率。这也说明了，在样本失衡相对严重的情况下，即使准确率很高，结果也会有很大的水份，准确率指标会失效。
3. 查准率
查准率（Precision）又叫精准率，是指在所有被预测为正的样本中实际为正的样本的概率，即在预测为正的样本中，我们有多少把握可以预测正确：
查准率 = T P T P + F P 查准率=\frac{TP}{TP+FP} 查准率=TP+FPTP
查准率和准确率的区别在于：查准率代表对正样本结果中的预测精度，而准确率则代表整体的预测准确程度，既包括正样本，也包括负样本。
4. 召回率
召回率（Recall）又叫查全率，指在实际为正的样本中被预测为正样本的概率。应用场景：在网贷信用风险评估中，相对好用户，我们更关心坏用户，不能错放任何一个坏用户，因为如果我们过多的将坏用户当成好用户，这样后续可能发生的违约金额会远超过好用户偿还的借贷利息金额，造成严重亏损。召回率越高，表示实际坏用户被预测出来的概率越高，即"宁可错杀一千，绝不放过一个。"
精准率 = T P / ( T P + F N ) 精准率=TP/(TP+FN) 精准率=TP/(TP+FN)
一般来说，查准率和召回率是一对矛盾的度量。查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。
例如，若希望将好瓜尽可能多地选出来，则可通过增加选瓜的数量来实现，如果将所有西瓜都选上，那么所有的好瓜也必然都被选上了，但这样查准率就会较低；若希望选出的瓜中好瓜比率尽可能高，则可只挑选最有把握的瓜，但这样就难免会漏掉不少好瓜，使得查全率较低，通常只有在一些简单的任务中，才可能使查全率和查准率都很高。
如果想要在两者之间找到一个平衡点，通常会使用 F1 分数，它同时考虑了查准率和查全率，让二者同时达到最高，取一个平衡。
F 1 = 2 × 查准率 × 召回率 ( 查准率 + 召回率 ) F1=\frac{2 \times 查准率 \times 召回率}{(查准率+召回率)} F1=(查准率+召回率)2×查准率×召回率
ROC和AUC
1. 真正率和假正率
ROC 和 AUC 可以在无视样本不平衡的情况下进行性能度量，关键在于两个指标：真正率（TPR）和假正率（FPR），其中真正率也叫灵敏度（Sensitivity），假正率则为 1-特异度（Specifucity）。
真正率 ( T P R ) = 灵敏度 = T P T P + F N 真正率(TPR)=灵敏度=\frac{TP}{TP+FN} 真正率(TPR)=灵敏度=TP+FNTP
假正率 ( F R P ) = 1 − 特异度 = F P F P + T N 假正率(FRP)=1-特异度=\frac{FP}{FP+TN} 假正率(FRP)=1−特异度=FP+TNFP
可以发现 TPR 和 FPR 分别是基于真实情况 1 和 0 出发的，即分别在真实情况下的正样本和负样本中来观察相关概率问题，正因为如此，所以无论样本是否平衡，都不会被影响。在之前的信用评估例子中，90% 为正样本，10% 为负样本，我们知道用准确率衡量结果是有水份的，但是用 TPR 和 FPR 不一样，这里，TPR 只关注 90% 正样本中有多少是真正被覆盖的，而与剩余 10% 无关，同理，FPR 只关注 10% 负样本中有多少是被错误覆盖的，也与其他 90% 毫无关系，所以可以看出：如果我们从实际表现的各个结果角度出发，就可以避免样本不平衡的问题了，这也是为什么选用 TPR 和 FPR 作为 ROC/AUC 指标的原因。
2. ROC-接受者操作特征曲线
ROC(Receiver Operating Characteristic)曲线，又称接受者操作特征曲线，最早应用于雷达信号检测领域，用于区分信号和噪声。后来人们将其用于评价模型的预测能力，ROC 曲线是基于混淆矩阵得出的。
ROC曲线中横坐标为假正率(FPR)，纵坐标为真正率(TPR)，是通过遍历所有阈值来绘制整条曲线的，当我们不断的遍历所有阈值，预测的正样本和负样本是不断变化，相应的在 ROC 曲线图中就会沿着曲线滑动。
改变阈值只是不断的改变正负样本数，即 TPR 和 FPR，但是曲线本身是不会改变的。那如何通过 ROC 来判断一个模型的好坏呢？我们知道 FRP 表示模型虚报的响应程度，TPR 表示模型预测响应的覆盖程度，一个好的模型虚报的越少越好，覆盖的越多越好，这就等价于 TPR 越高，同时 FPR 越低，即 ROC 曲线越陡时，模型的性能就越好。
之前已经讨论了 ROC 曲线为什么可以无视样本的不平衡，这里通过动图进行演示，可以发现：无论红蓝样本比率如何改变，ROC 曲线都没有影响。
3. AUC-曲线下面积
AUC 是一种基于排序的高效算法，取值越大，代表模型的预测效果越好，其一般判断标准为：
- 0.5～0.7：效果较低；
- 0.7～0.85：效果一般
- 0.85～0.95：效果很好
- 0.95～1：效果非常好，但很可能是过拟合导致的
sklean 的 metrics 对 ROC 和 AUC 的计算进行了实现。