【第92期】逻辑回归的分数概率与阈值的实验与排查

系列:《从小白到 AI 大模型开发工程师的进阶之路》 技术点:AI-0314 逻辑回归 主人公:小蓝伞 前置:AI-0313 本期产出:二分类模型

小蓝伞用逻辑回归得到一串零到一的数,改阈值后混淆矩阵变化,模型系数却没动。本期从线性分数到 Sigmoid 的数值关系入手,解释分类、正则和阈值各在哪一步起作用。 教学情境用来组织问题,下面的执行数据来自构造实验。

一、先给结论

逻辑回归用线性分数经 Sigmoid 建模二分类概率,通过对数损失拟合参数。分类标签由后续阈值产生。参数 C 控制正则强弱,阈值控制决策,两者不能互相替代。

二、问题范围与成功判据

本期技术范围是Sigmoid、对数损失、二分类和概率解释。读者应已能运行 Python 并理解训练与验证的区别。

项目 本期约定
输入 代码中给出的教学样本
输出 可逐项核对的中间量与预测或切分结果
成功判据 运行完成,正常与故障对照符合下文解释
不作承诺 真实业务最佳参数、独立测试成绩和生产性能

三、核心机制与容易混淆的概念

二分类线性分数是截距加特征加权和,Sigmoid 将它映射到零与一之间。反过来的对数胜算与输入线性相关,输入增加一个单位时,系数描述的是对数胜算的变化,不是概率固定增加多少。概率响应还取决于当前分数所在位置。

对数损失惩罚对真实类别赋予很小概率的预测,所以过度自信的错误代价大。默认模型带正则,C 越小通常正则越强;这与 Ridge 的 alpha 增大正则更强的命名方向相反。求解器支持哪些惩罚与多分类设置需要按版本核对。

接口的概率列按 classes_ 排列。本期标签是零和一,因此第二列是正类;如果标签换成字符串,不能继续凭位置猜正类含义。decision_function 是分类分数,不应未经确认就在多分类情形逐列套同一个二分类公式。

四、方案选择与反例

低成本、可解释的线性分类基线可以先用逻辑回归。特征尺度差异大会影响正则与优化,数值列通常在管道里缩放;类别字段要合理编码。类别关系明显非线性时可以构造交互或比较非线性模型,但仍用相同切分与指标。

类别权重会改变训练目标和概率含义,降低阈值只改变后处理。两者都能影响召回,却不是同一个操作。需要可靠概率时另用独立验证检查校准,不能只看分类准确率。

五、完整实践与运行步骤

本次执行环境为 Windows 11、CPython 3.12.14,NumPy 2.3.5、scikit-learn 1.7.2。输入均由文中代码构造,不读取真实用户或业务数据,不需要下载数据集。

新建空目录,将下方完整代码保存为 main.py。目录仅需这个脚本和安装后的虚拟环境,输入直接写在代码里,结果打印到终端,没有未提供的前置文件。

复制代码
python -m venv .venv
.venv/Scripts/python.exe -m pip install numpy==2.3.5 scikit-learn==1.7.2 scipy==1.18.1 joblib==1.6.0 threadpoolctl==3.7.0 cloudpickle==3.1.2
.venv/Scripts/python.exe main.py

macOS 或 Linux 将解释器路径换为 .venv/bin/python。安装阶段需要可访问的官方包源或已获授权的离线依赖;运行阶段不访问网络。不要覆盖既有项目环境。删除这个专用练习目录即可清理,示例不改数据库、系统配置或用户文件。

复制代码
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import log_loss, confusion_matrix
X=np.array([-3.,-2.,-1.,0.,1.,2.,3.,4.]).reshape(-1,1)
y=np.array([0,0,0,1,0,1,1,1])
m=LogisticRegression(C=1.,solver='lbfgs').fit(X,y)
p=m.predict_proba(X)[:,1]
print('classes',m.classes_.tolist(),'coef',m.coef_.round(4).tolist())
print('prob',p.round(4).tolist(),'logloss',round(log_loss(y,p),6))
for t in (.3,.5,.7):
    print(t,confusion_matrix(y,p>=t).tolist())
print('score_relation',np.allclose(p,1/(1+np.exp(-m.decision_function(X)))))

六、可复现失败案例与修复

演练先将 decision_function 当概率使用,出现负数便怀疑模型异常。核对接口定义后,用 Sigmoid 转换并与 predict_proba 对照,数值一致即可定位误解。再固定模型改变阈值,验证矩阵变化但参数不变,说明业务工作点可以与参数拟合分离。

七、实验设计、实际输出与判读

复制代码
classes [0, 1] coef [[0.8678]]
prob [0.0458, 0.1026, 0.214, 0.3933, 0.6069, 0.7862, 0.8975, 0.9543] logloss 0.332279
0.3 [[3, 1], [0, 4]]
0.5 [[3, 1], [1, 3]]
0.7 [[4, 0], [1, 3]]
score_relation True

八个构造样本存在标签交错,模型没有把每行记住。score_relation 为真验证二分类分数和概率的关系,三个混淆矩阵展示同一概率下的阈值效果。logloss 来自训练数据,只用来核对数值,不是独立泛化评估。

概率在零点五附近的样本更容易因阈值改变而翻转。这里的概率不是实际事件频率证据,小样本上拟合成功不能说明校准良好,也不能将某个阈值推荐给真实风险业务。

八、迁移到工程时需要补什么

上线一起版本化预处理、classes_、模型系数和阈值。监控输入范围、正例预测率和回流标签上的校准变化。若训练提前终止出现收敛警告,先检查缩放、优化器与迭代预算,不能仅仅把警告隐藏。

完全可分数据在无正则极大似然下会出现系数趋向无穷的问题,正则常用来约束这种增长。系数大也可能是量纲或共线性造成,解释前要核对输入单位。

九、推导、决策与扩展验证

从分数到概率手动检查

Sigmoid 在分数为零时输出二分之一,分数正负决定概率高于还是低于二分之一。导数与概率乘一减概率有关,所以相同的系数增量在概率中间区间变化较明显,在两端变化较小。把系数解释成"每增加一单位概率提高固定百分比"会忽略这种非线性。

本期 score_relation 为真,证明二分类接口中的分数和概率一致;这是数值关系核对,不是概率校准检验。classes_ 为零和一才能把第二列直接叫正类概率,换标签后要重新核对业务定义。

为什么拟合目标使用对数损失

标签为一时,模型给出的正类概率越接近零,对数损失越大;标签为零时则惩罚接近一的错误自信。它比硬分类是否正确保留更多分数信息,也让参数可通过连续优化学习。训练准确率可能相同,两套概率的对数损失仍不同。

极端概率会涉及数值保护,库在计算损失时有裁剪等约定,手写代码若直接取零的对数就会得到无穷。为了复现应使用稳定实现,不能先把概率四舍五入到零或一再计算损失。本期先用完整概率计算,再仅为展示保留小数。

正则和阈值如何分别影响结果

改变 C 会重新拟合系数,可能改变样本的排序和概率;改变阈值只在固定概率上划线。类别权重改变训练损失中各类的重要性,也可能影响校准。若目标是限制人审容量,可以先固定模型研究阈值或前 K 策略,不必把每个运营变化都转成重新训练。

当数据完全可分时,无正则极大似然可能不断增大系数来提高似然,有限最优解并不总存在。正则可以约束增长,但还需看收敛状态。增大 max_iter 只是给优化更多机会,输入尺度或不兼容求解器才是根因时,盲目增加次数不能解决问题。

二分类之外不能照搬单列公式

多分类可能使用联合 Softmax 或其他拆分策略,具体取决于估计器和版本。不能对所有 decision_function 列分别套二分类 Sigmoid 后假定总和为一。输出 shape、classes_ 和模型文档应一起验收,服务协议明确返回的是类别、未校准分数还是概率向量。

线性边界也不意味着只能用于原始输入的线性关系。加入多项式、交互或合适变换后,模型仍然对参数线性,但能在原空间表达更复杂的边界。增加这类特征同时增加拟合容量,需要把生成步骤放进合法验证流程。

如何检查校准而不污染最终测试

在训练外的数据上观察概率分桶与实际正例率,配合对数损失等指标。若选择校准方法或分桶策略,再用独立数据评价选择结果。正例很少时一个桶可能只有几个样本,应显示支持数,不能把平滑漂亮的曲线当成强证据。

部署正类基准率改变后,即便排序仍有用,概率与阈值也可能不适配。监控标签回流、预测正例率和分数分布,确认变化后再决定校准或重训。没有真值回流时只能监控代理信号,不能宣称已证明概率准确。

三个阈值的本期含义

阈值零点三找回四个正例并误报一个,零点五漏报一个且仍误报一个,零点七没有误报但漏报一个。这里可以比较不同错误组合,不能因为零点七训练准确率高就把它作为现实业务默认。样本是拟合时看过的八行,既没有独立验证也没有业务代价,因此只承担机制解释用途。

十、实现复核与判断边界

服务返回值明确标记为 score、probability 或 label,并附类别顺序。调用方不能把 decision_function 的负数当成异常概率,也不能固定取第二列却忽略 classes_ 已随标签体系变化。

把 C、求解器、缩放状态和阈值分别版本化。训练阶段有收敛警告就检查输入尺度、惩罚兼容与迭代预算,不将过滤警告视作修复。只改业务阈值无需假装重训,但仍要验证队列与错误成本。

上线监控预测正例率、分数分布及完整回流标签上的效果,标签未齐全时不直接计算真实召回。概率用于决策前另查校准与基准率变化。持久化后回放固定输入,确认类别映射、概率列和阈值都同步恢复,避免模型正确而接口含义相反。

"回归"在这里描述对数胜算的线性建模,最终应用可以是分类。线性分数先表达方向和强度,Sigmoid 再映成零到一,最后按阈值采取行动。名字不决定输出含义,数学关系与接口定义才决定。

这也解释为何系数不等于概率的固定增量。相同分数变化,在概率靠近中间与靠近两端时影响不同。若只拿系数大小比较字段重要性,还会混入单位和相关性,必须先明确输入尺度与条件。

有概率形状也不保证概率可靠。模型拟合的是损失,现实中基准率、标签偏差和模型误设都会影响校准。正确分类、排序良好、概率准确与阈值成本合理,应各用相应证据检查,不能由训练准确率一项包办。

十一、系统与库版本差异

本期使用锁定的库版本。在线 stable 文档可能随版本更新,重现旧结果时应同时核对对应版本的 API。不要把缺少依赖、输入不合法和算法效果不佳混成一种报错。

Windows 与其他系统的虚拟环境解释器路径不同,核心数组与评分语义相同。浮点末位可能受线性代数后端影响,应按文中精度比较,不比较完整字符串。随机实验固定了数据种子;真实新数据仍可能得到不同分数,种子不是泛化保证。

十二、验证清单

  • 读取 classes_ 确认正类列。
  • 分清分数概率与标签。
  • 记录 C 和正则约定。
  • 验证阈值并检查收敛及校准。

十三、五道面试题与追问

  1. 为什么叫回归?对数胜算由输入线性建模,最终用于分类。 进一步追问,阈值在哪一步?概率产生后再按业务工作点决策。

  2. C 大代表更强正则吗?通常相反,C 是正则强度的倒数。 进一步追问,与 Ridge 的 alpha 方向相同吗?通常相反,应看目标函数定义。

  3. 系数表示概率增量吗?表示其他项固定时的对数胜算变化。 进一步追问,能比较不同单位系数大小吗?需先理解尺度与共线性。

  4. 类别权重等同改阈值吗?不同,前者改变拟合目标。 进一步追问,改权重会影响概率含义吗?可能,需要额外校准评价。

  5. 概率列能固定取第二列吗?先看 classes_ 与正类定义。 进一步追问,多分类可以每列直接 Sigmoid 吗?不能,需核对 Softmax 或其他接口约定。

小蓝伞的工程金句

拟合确定分数,校准检查概率,阈值决定行动。

官方资料与用途

查阅日期为 2026 年 10 月 30 日。实验固定到 1.7.2;网页的新版本说明不能自动视为本机旧版本实测。

适用边界

实验只验证二分类接口与阈值关系,没有独立测试、校准检验或多分类 Softmax。概率数值不构成现实业务事件概率保证。

本期技术清单与下一期

本期覆盖Sigmoid、对数损失、二分类和概率解释。下一期【第93期】AI-0315「决策树」,继续沿系列路线推进。可结合本系列前置篇目的训练验证规则复做实验。

相关推荐
ch6231 小时前
🚀 从零构建本地文档智能审查 Agent:Vibe Coding 实战指南
python
7177771 小时前
互联网企业研发平台推荐:从工具堆叠到一体化协同的选型逻辑
人工智能·gitee
立青.1 小时前
AI大模型术语
人工智能
摇滚侠1 小时前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
电科_银尘2 小时前
【大模型算法与工程 27】训练配方:批量、学习率、精度与梯度裁剪
学习·算法·机器学习
Thanks_ks2 小时前
AI Agent 开发入门:用 Function Calling 让大模型学会 “动手干活”,附订单查询机器人实战
python·ai·大模型·openai·agent·通义千问·mcp
专注仿真2 小时前
智能体训练之模仿学习:GAIL 算法详解与实战
python·算法·仿真·多智能体强化学习·afsim智能体训练
databook3 小时前
处理一批 PDF,怎么算真的处理完了
后端·python
土豆12503 小时前
你只说要什么,它负责拆活交付:任务编排插件上手指南
人工智能·llm