在二分类问题中，已知预测概率（如逻辑回归、神经网络输出的概率值）时，阈值的选择直接影响分类结果（正/负样本判定）。
一、实践中的阈值选择方法
1. 基于业务目标的调整
- 最大化准确率：适用于样本均衡且无特殊代价偏好，通常选阈值0.5（默认设置），但需验证是否最优。
- 最大化召回率（灵敏度）：如欺诈检测、疾病筛查，需降低阈值（如0.3），允许更多误报以减少漏报。
- 最大化精确率：如推荐系统，需提高阈值（如0.7），确保高置信度预测。
2. F1分数最大化
F1分数是精确率和召回率的调和平均，公式为：
F 1 = 2 ⋅ 精确率 ⋅ 召回率 精确率 + 召回率 F1 = 2 \cdot \frac{\text{精确率} \cdot \text{召回率}}{\text{精确率} + \text{召回率}} F1=2⋅精确率+召回率精确率⋅召回率
遍历阈值，找到使F1最大的点，尤其适用于样本不平衡场景。
3. 可视化工具辅助
- Precision-Recall曲线：观察不同阈值下精确率和召回率的权衡，选择符合业务目标的交点。
二、理论上的最优阈值点
但有时，到甲方做POC时，作为外部的技术人员并不懂它的业务，这时需要先从理论上给出阈值。
1. 贝叶斯决策理论：最小错误率阈值
当误分类代价相等时，根据贝叶斯决策理论，最优阈值应使整体分类错误率最小，对应公式为：
阈值 = P ( 负类 ) P ( 正类 ) = 负类先验概率 正类先验概率 \text{阈值} = \frac{P(\text{负类})}{P(\text{正类})} = \frac{\text{负类先验概率}}{\text{正类先验概率}} 阈值=P(正类)P(负类)=正类先验概率负类先验概率
- 原理 ：若预测概率 p ≥ 阈值 p \geq \text{阈值} p≥阈值，判为正类；否则判为负类。
- 适用场景：样本均衡（正负类先验概率接近）且误分类成本相同。
2. 约登指数（Youden's Index）最大化
约登指数定义为 灵敏度（真阳率） + 特异度（真阴率） - 1 ，其最大值对应的阈值是理论上平衡灵敏度和特异度的最优解：
阈值 = arg max τ ( TPR ( τ ) + TNR ( τ ) − 1 ) \text{阈值} = \arg\max_{\tau} \left( \text{TPR}(\tau) + \text{TNR}(\tau) - 1 \right) 阈值=argτmax(TPR(τ)+TNR(τ)−1)
- 优势：无需考虑误分类成本，仅基于数据本身的分布，是ROC曲线中离左上角（完美分类点）最近的点。
- 计算：遍历所有可能的阈值（通常取预测概率的唯一值），计算对应的约登指数并取最大值。
3. 最小化预期误分类成本（Cost-Sensitive）
当正负样本误分类代价不同（如漏诊代价高于误诊），阈值需根据代价矩阵调整：
阈值 = C ( 正类→负类 ) ⋅ P ( 负类 ) C ( 负类→正类 ) ⋅ P ( 正类 ) \text{阈值} = \frac{C(\text{正类→负类}) \cdot P(\text{负类})}{C(\text{负类→正类}) \cdot P(\text{正类})} 阈值=C(负类→正类)⋅P(正类)C(正类→负类)⋅P(负类)
-
C ( 正→负 ) C(\text{正→负}) C(正→负)：正类误判为负类的代价（如漏判疾病）；
-
C ( 负→正 ) C(\text{负→正}) C(负→正)：负类误判为正类的代价（如误报疾病）。
- 示例：若漏判代价是误报的10倍，阈值应降低以减少漏判。
3. 可视化工具辅助
- ROC曲线：虽然AUC不直接给出阈值，但ROC曲线上的"拐点"（曲率最大点）常被经验性选为阈值。
三、一个数学推导与几何意义
理论上的"最优点"本质是目标函数的最优解，需根据问题特性（成本、均衡性、业务需求）选择合适的标准，而非单一固定值。
ROC曲线上的"拐点"（曲率最大点）可作为理论上的阈值，有很强的几何意义：它既是约登指数最大的点，又是平行于对角线（过(0,0)和(1,1)的直线与ROC的切点，即：ROC曲线上切线与对角线（斜率1）平行的点 ，是约登指数最大的点 ，也是几何上离对角线最远的"拐点"（切点）。
如下从数学角度证明：
1. 对角线的斜率与切线条件
对角线方程为 TPR = FPR \text{TPR} = \text{FPR} TPR=FPR，斜率为1。
设ROC曲线为 TPR = f ( FPR ) \text{TPR} = f(\text{FPR}) TPR=f(FPR)，曲线上某点的切线斜率为 f ′ ( FPR ) f'(\text{FPR}) f′(FPR)。
当切线与对角线平行时，有：
f ′ ( FPR ) = 1 f'(\text{FPR}) = 1 f′(FPR)=1
2. 约登指数最大化与切线条件
约登指数 J = f ( FPR ) − FPR J = f(\text{FPR}) - \text{FPR} J=f(FPR)−FPR，对 FPR \text{FPR} FPR求导并令导数为0：
d J d FPR = f ′ ( FPR ) − 1 = 0 ⇒ f ′ ( FPR ) = 1 \frac{dJ}{d\text{FPR}} = f'(\text{FPR}) - 1 = 0 \quad \Rightarrow \quad f'(\text{FPR}) = 1 dFPRdJ=f′(FPR)−1=0⇒f′(FPR)=1
这表明约登指数最大的点恰好满足切线斜率为1，即切线与对角线平行。
3. 几何意义：离对角线最远的点
对角线代表"随机分类器"（无区分能力），ROC曲线上任意点 ( FPR , TPR ) (\text{FPR}, \text{TPR}) (FPR,TPR)到对角线的垂直距离为：
d = ∣ TPR − FPR ∣ 2 d = \frac{|\text{TPR} - \text{FPR}|}{\sqrt{2}} d=2 ∣TPR−FPR∣
最大化 d d d等价于最大化 ∣ TPR − FPR ∣ |\text{TPR} - \text{FPR}| ∣TPR−FPR∣。由于ROC曲线中 TPR ≥ FPR \text{TPR} \geq \text{FPR} TPR≥FPR（模型至少不劣于随机分类器），故等价于最大化 TPR − FPR \text{TPR} - \text{FPR} TPR−FPR，即约登指数 J J J。
因此，切线平行于对角线的点，正是ROC曲线离对角线最远的点，几何上表现为曲线的"拐点"（曲率较大的切点）。
注：
- 数学拐点：严格定义为二阶导数变号的点（曲线凹凸性改变的点），与切线斜率无关。
- 此处"拐点" ：实际指约登指数最大的切点，强调几何上离对角线最远、切线斜率为1，而非严格数学拐点。
- 曲率最大点 ：通过曲率公式 κ = ∣ f ′ ′ ∣ ( 1 + f ′ 2 ) 3 / 2 \kappa = \frac{|f''|}{(1 + f'^2)^{3/2}} κ=(1+f′2)3/2∣f′′∣计算，可能与切线斜率为1的点重合（当二阶导数在此处达到极值时），但二者定义不同。
- 实际应用中，约登指数最大的点更关注业务意义（平衡TPR和FPR），而非纯数学曲率。
实例验证
假设某模型的ROC曲线方程为 TPR = FPR \text{TPR} = \sqrt{\text{FPR}} TPR=FPR （凸曲线），求切线斜率为1的点：
- 导数 f ′ ( FPR ) = 1 2 FPR = 1 f'(\text{FPR}) = \frac{1}{2\sqrt{\text{FPR}}} = 1 f′(FPR)=2FPR 1=1，解得 FPR = 0.25 \text{FPR} = 0.25 FPR=0.25，对应 TPR = 0.5 \text{TPR} = 0.5 TPR=0.5。
- 该点切线方程为 TPR = FPR + 0.25 \text{TPR} = \text{FPR} + 0.25 TPR=FPR+0.25，确实平行于对角线，且约登指数 J = 0.5 − 0.25 = 0.25 J = 0.5 - 0.25 = 0.25 J=0.5−0.25=0.25为最大值。
- 几何上，该点到对角线的距离为 0.25 2 \frac{0.25}{\sqrt{2}} 2 0.25，是曲线上的最大距离点。