系列:《从小白到 AI 大模型开发工程师的进阶之路》 技术点:AI-0312 KNN 分类与回归 主人公:小蓝伞 前置:AI-0311、AI-0303 本期产出:scikit-learn KNN 项目
小蓝伞已经能够手算距离,这次把标准化和 KNN 组成流水线,同一份输入同时做分类和回归。他需要确认 K 值与距离权重到底改变了哪一步,也要知道训练样本太少时错误发生在拟合还是预测。 教学情境用来组织问题,下面的执行数据来自构造实验。
一、先给结论
分类与回归共享找邻居过程,聚合目标不同。把 StandardScaler 和 KNN 放进 Pipeline,训练拟合缩放器,查询复用同一参数。分别用分类和回归指标选择 K 与权重,不能拿分类准确率替回归决策。
二、问题范围与成功判据
本期技术范围是分类流程、回归流程、K 值影响和数据标准化。读者应已能运行 Python 并理解训练与验证的区别。
| 项目 | 本期约定 |
|---|---|
| 输入 | 代码中给出的教学样本 |
| 输出 | 可逐项核对的中间量与预测或切分结果 |
| 成功判据 | 运行完成,正常与故障对照符合下文解释 |
| 不作承诺 | 真实业务最佳参数、独立测试成绩和生产性能 |
三、核心机制与容易混淆的概念
分类的 uniform 对每个邻居给同等票数,distance 让更近邻居贡献更大。回归对应等权均值与距离加权均值。K 为一且邻居唯一时,权重不会改变结果,因为只有一个目标参与聚合。K 为三时,第三个邻居可能跨到另一个类别区域,分类边界与回归输出都会被拉动。
标准化先减训练均值再除训练标准差。它会改变不同列的距离贡献,本期两列尺度接近,作用没有极端量纲示例那么强,但数据流仍要正确。若每个查询批次重新拟合缩放器,相同查询可能因批内其他样本变化而得到不同预测。
距离为零时简单手写倒数会发散。scikit-learn 的距离权重对精确重合邻居有专门处理,不能声称加一个很小的 epsilon 就与库的所有边界行为完全一致。冲突标签的重复点还涉及数据质量与聚合策略。
四、方案选择与反例
选择 K、距离和权重时先固定切分,在训练折拟合完整管道。K 候选上界受每折实际训练行数约束,不能只看全量样本数。uniform 是易解释基线,distance 能强调近点,但对噪声近点也会更敏感。
分类要同时看类别不平衡、投票概率与阈值,回归需检查极端目标和外推。KNN 回归是邻域目标的平均,不能据此期望它沿趋势线可靠外推到未覆盖范围。
五、完整实践与运行步骤
本次执行环境为 Windows 11、CPython 3.12.14,NumPy 2.3.5、scikit-learn 1.7.2。输入均由文中代码构造,不读取真实用户或业务数据,不需要下载数据集。
新建空目录,将下方完整代码保存为 main.py。目录仅需这个脚本和安装后的虚拟环境,输入直接写在代码里,结果打印到终端,没有未提供的前置文件。
python -m venv .venv
.venv/Scripts/python.exe -m pip install numpy==2.3.5 scikit-learn==1.7.2 scipy==1.18.1 joblib==1.6.0 threadpoolctl==3.7.0 cloudpickle==3.1.2
.venv/Scripts/python.exe main.py
macOS 或 Linux 将解释器路径换为 .venv/bin/python。安装阶段需要可访问的官方包源或已获授权的离线依赖;运行阶段不访问网络。不要覆盖既有项目环境。删除这个专用练习目录即可清理,示例不改数据库、系统配置或用户文件。
import numpy as np
from sklearn.neighbors import KNeighborsClassifier, KNeighborsRegressor
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
X=np.array([[0.,0.],[.2,.1],[.8,.9],[1.,1.]])
yc=np.array([0,0,1,1]); yr=np.array([0.,.3,1.7,2.])
Q=np.array([[.1,.2],[.9,.8]])
for k in (1,3):
for weights in ('uniform','distance'):
c=make_pipeline(StandardScaler(),KNeighborsClassifier(n_neighbors=k,weights=weights)).fit(X,yc)
r=make_pipeline(StandardScaler(),KNeighborsRegressor(n_neighbors=k,weights=weights)).fit(X,yr)
print(k,weights,c.predict(Q).tolist(),np.round(r.predict(Q),4).tolist())
try:
KNeighborsClassifier(n_neighbors=5).fit(X,yc).predict(Q)
except ValueError:
print('failure','k exceeds fitted sample count')
六、可复现失败案例与修复
故障演练将 K 设为五,训练只有四行。fit 可能成功保存样本,predict 才要求返回足够邻居并报错。最初只用 fit 不报错作为部署成功判据,会漏掉该问题。修复是按最小训练折样本数过滤候选,并在启动验收中执行一次真实预测。
另一种静默失败是在线重新缩放,需用同一个查询分别单独提交与混合批提交,比对预测是否一致来排查。
七、实验设计、实际输出与判读
1 uniform [0, 1] [0.3, 1.7]
1 distance [0, 1] [0.3, 1.7]
3 uniform [0, 1] [0.6667, 1.3333]
3 distance [0, 1] [0.3026, 1.6974]
failure k exceeds fitted sample count
输出固定两条查询,比较 K 为一与三、等权与距离权重四种设置。分类输出是两个类别,回归输出是目标均值,不要把四位小数理解为概率。这里没有独立验证标签,因此只能解释机制,不能给 K 排出效果优劣。
失败输出证明参数边界被库检查。若读者在更大训练集复现不会触发同一错误,应先核对 fitted sample count,而不是认为库行为改变。
八、迁移到工程时需要补什么
KNN 没有长期优化迭代不等于免费训练,数据校验、缩放和索引构建仍需时间;主要成本常落在存储与预测。验收时记录训练样本规模、输入维度、查询批大小和实际搜索算法,再测延迟,不能只报告 fit 的耗时。
部署工件包含缩放器、训练样本与标签,更新训练集会改变模型行为,也会改变隐私与存储要求。删除样本或变更标签应产生新版本并复验近邻。
九、推导、决策与扩展验证
四种配置为什么有些结果相同
K 为一时,两种权重都给出分类零与一、回归零点三与一点七,因为只有各自最近的一个样本参与。K 为三的等权回归变成约零点六六六七与一点三三三三,跨区域邻居拉动了均值;距离权重又把结果拉向更近的样本。分类仍相同,只说明这些查询的赢家未变,不能说权重没有作用。
分类概率可看作邻居类别权重占比,但它没有自动校准为真实事件概率。回归的平均也不带不确定度,三个邻居的目标很接近和差异巨大可能得到相同均值。上线若需要风险判断,应额外记录邻居距离和目标分歧,而不是只返回一个点预测。
验证搜索时 K 的上界要看每一折
全量训练一百行做五折,每个训练折只有八十行。K 候选即便小于一百,也可能在内部预测时超过训练折样本数。分组折大小还可能不等,候选上界应按最小训练折确定。过大的候选报错后如何处理,也应在搜索记录中明确,不能悄悄丢掉失败结果再宣称全部成功。
K 很大时分类接近整体多数,回归接近整体均值,可能失去局部结构。K 很小时局部噪声影响大。用同一组合法折比较 K、距离权重与度量,最后在独立测试上确认选定配置,不使用测试点反复挑最漂亮的边界。
缩放器为什么要绑定到模型
若训练时均值来自全年,而线上按每天的批次重算,同一个人的特征在不同日可能被映射到不同位置。邻居索引仍在旧坐标系,就会出现静默错位。保存完整 Pipeline 可以让 transform 使用训练状态,但原始字段单位仍需输入校验。
持久化工件后使用固定样本重新载入预测,检查列顺序、形状、数据类型和输出。加载外部工件要遵守来源信任要求,不应下载不明序列化模型直接执行;本教程不依赖外部模型文件,避免把加载安全混进算法演示。
重复点与零距离
精确重复的坐标可能带不同标签,距离为零并不能消除冲突。距离加权库实现会专门处理重合邻居,手写 epsilon 只是近似,可能让非零邻居仍保留很小影响。复现时应包括重复点、相同标签重复与冲突标签重复,明确数据清洗或聚合政策。
重复记录也会改变投票权重,同一个事件复制十次相当于让它说十次话。若它来自数据合并错误,应修复来源;若代表合法频率,应解释为什么每行等权。不能通过删除难分样本来改善验证分数。
延迟测试应该拆成哪几段
分别记录预处理、邻居搜索、标签聚合和序列化耗时,说明批量大小与是否包含服务通信。训练点增加时延迟可能上升,索引切换又可能让曲线不连续。只测一次查询容易受缓存和启动影响,应进行合理预热并报告多次分布,生产目标看高分位而非只看均值。
本期没有做延迟基准,所以不提供某个样本数必然低于几毫秒的承诺。能够复制运行说明接口闭环,速度与容量需要在目标机器、真实维度和并发条件下另测。精确搜索与近似搜索也要同时报告质量差异。
分类和回归的不同错误成本
分类少数类可能被邻域多数掩盖,评价需保留逐类精确率与召回。回归均值容易被大目标拉动,应同时看 MAE、RMSE 和极端残差。若业务更在意分位数或稳健局部统计,可研究其他聚合,但它已超出本期标准 KNN 回归接口,不能只换一行名称就当同一算法。
十、实现复核与判断边界
接入分类与回归时,复用查邻居的输入校验,但输出协议分开:类别与类别映射属于分类,目标单位与逆变换属于回归,不能因为 shape 都是一维就交给同一个业务处理函数。
训练成功后执行至少一批包含正常和边界请求的 predict。K 大于训练样本数可能在这一步才暴露,因此服务启动只检查工件可加载是不够的。参数搜索也按最小训练折容量过滤,而非按全量样本数。
上线更新训练样本会改变邻域,视为模型更新并记录版本。样本删除、标签修订与缩放重拟合一起生成新工件,再用固定请求检查单批与分批输出一致。延迟预算需要测实际查询规模,不能拿近乎无优化迭代的 fit 时间当成整条服务速度。
分类和回归可以使用完全相同的邻居,却回答不同问题。分类问周围样本主要属于哪类,回归问周围目标的典型数值。换 K 后类别没变不代表模型没有变化,回归均值或类别权重占比可能已经显著移动。
距离加权让近点更有影响,也让错误的近点更有影响。它不会替你修正尺度、冲突标签或重复数据。K 大时较平滑也不必然更可靠,小群体结构可能被大群体覆盖;K 小时贴近训练点也不证明泛化好。
选择依赖任务指标与合法验证。四行样本展示了计算方式,却没有独立标签供方案比较,因此不能从这里宣布某个 K 最优。把机制演示与效果评价分开,是理解算法示例时最有用的判断习惯。
十一、系统与库版本差异
本期使用锁定的库版本。在线 stable 文档可能随版本更新,重现旧结果时应同时核对对应版本的 API。不要把缺少依赖、输入不合法和算法效果不佳混成一种报错。
Windows 与其他系统的虚拟环境解释器路径不同,核心数组与评分语义相同。浮点末位可能受线性代数后端影响,应按文中精度比较,不比较完整字符串。随机实验固定了数据种子;真实新数据仍可能得到不同分数,种子不是泛化保证。
十二、验证清单
- 管道统一保存缩放器与模型。
- 每个验证训练折容纳候选 K。
- 启动验收实际执行 predict。
- 分类与回归分别设置评分和覆盖边界。
十三、五道面试题与追问
-
K=1 时改权重为何常无变化?只有一个唯一邻居,目标聚合相同。 进一步追问,重复点时仍如此吗?多个零距离且标签冲突需要专门聚合约定。
-
fit 成功为何 predict 报错?预测时才请求超过样本数的邻居。 进一步追问,搜索 K 用全量行数上限够吗?需满足每个训练折的最小容量。
-
距离权重能修复尺度错误吗?不能,它只在已算好的距离上加权。 进一步追问,权重能去掉重复记录影响吗?重复仍改变局部贡献,先查来源。
-
KNN 是否完全没有训练成本?仍有校验、存储、变换及可能的索引构建。 进一步追问,预测为何常更贵?需要查询训练样本或索引并聚合。
-
如何选择回归 K?用独立验证上的回归指标评价完整管道。 进一步追问,邻居目标分散度能当置信区间吗?不能直接,统计解释需另验证。
小蓝伞的工程金句
找到邻居只完成一半,聚合规则与验证指标决定另一半。
官方资料与用途
-
scikit-learn 官方主题文档,用于核对本期概念、接口与算法边界。
-
常见错误与数据泄漏,用于核对拟合范围和验证流程。
查阅日期为 2026 年 10 月 30 日。实验固定到 1.7.2;网页的新版本说明不能自动视为本机旧版本实测。
适用边界
四行教学数据用于机制对照,不是模型选择集。未覆盖缺失值、近似索引、重复点冲突或大规模延迟,代码只使用精确邻居算法。
本期技术清单与下一期
本期覆盖分类流程、回归流程、K 值影响和数据标准化。下一期【第91期】AI-0313「线性回归」,继续沿系列路线推进。可结合本系列前置篇目的训练验证规则复做实验。