【第90期】KNN分类回归流水线与K值对照的实验与排查

系列:《从小白到 AI 大模型开发工程师的进阶之路》 技术点:AI-0312 KNN 分类与回归 主人公:小蓝伞 前置:AI-0311、AI-0303 本期产出:scikit-learn KNN 项目

小蓝伞已经能够手算距离,这次把标准化和 KNN 组成流水线,同一份输入同时做分类和回归。他需要确认 K 值与距离权重到底改变了哪一步,也要知道训练样本太少时错误发生在拟合还是预测。 教学情境用来组织问题,下面的执行数据来自构造实验。

一、先给结论

分类与回归共享找邻居过程,聚合目标不同。把 StandardScaler 和 KNN 放进 Pipeline,训练拟合缩放器,查询复用同一参数。分别用分类和回归指标选择 K 与权重,不能拿分类准确率替回归决策。

二、问题范围与成功判据

本期技术范围是分类流程、回归流程、K 值影响和数据标准化。读者应已能运行 Python 并理解训练与验证的区别。

项目 本期约定
输入 代码中给出的教学样本
输出 可逐项核对的中间量与预测或切分结果
成功判据 运行完成,正常与故障对照符合下文解释
不作承诺 真实业务最佳参数、独立测试成绩和生产性能

三、核心机制与容易混淆的概念

分类的 uniform 对每个邻居给同等票数,distance 让更近邻居贡献更大。回归对应等权均值与距离加权均值。K 为一且邻居唯一时,权重不会改变结果,因为只有一个目标参与聚合。K 为三时,第三个邻居可能跨到另一个类别区域,分类边界与回归输出都会被拉动。

标准化先减训练均值再除训练标准差。它会改变不同列的距离贡献,本期两列尺度接近,作用没有极端量纲示例那么强,但数据流仍要正确。若每个查询批次重新拟合缩放器,相同查询可能因批内其他样本变化而得到不同预测。

距离为零时简单手写倒数会发散。scikit-learn 的距离权重对精确重合邻居有专门处理,不能声称加一个很小的 epsilon 就与库的所有边界行为完全一致。冲突标签的重复点还涉及数据质量与聚合策略。

四、方案选择与反例

选择 K、距离和权重时先固定切分,在训练折拟合完整管道。K 候选上界受每折实际训练行数约束,不能只看全量样本数。uniform 是易解释基线,distance 能强调近点,但对噪声近点也会更敏感。

分类要同时看类别不平衡、投票概率与阈值,回归需检查极端目标和外推。KNN 回归是邻域目标的平均,不能据此期望它沿趋势线可靠外推到未覆盖范围。

五、完整实践与运行步骤

本次执行环境为 Windows 11、CPython 3.12.14,NumPy 2.3.5、scikit-learn 1.7.2。输入均由文中代码构造,不读取真实用户或业务数据,不需要下载数据集。

新建空目录,将下方完整代码保存为 main.py。目录仅需这个脚本和安装后的虚拟环境,输入直接写在代码里,结果打印到终端,没有未提供的前置文件。

复制代码
python -m venv .venv
.venv/Scripts/python.exe -m pip install numpy==2.3.5 scikit-learn==1.7.2 scipy==1.18.1 joblib==1.6.0 threadpoolctl==3.7.0 cloudpickle==3.1.2
.venv/Scripts/python.exe main.py

macOS 或 Linux 将解释器路径换为 .venv/bin/python。安装阶段需要可访问的官方包源或已获授权的离线依赖;运行阶段不访问网络。不要覆盖既有项目环境。删除这个专用练习目录即可清理,示例不改数据库、系统配置或用户文件。

复制代码
import numpy as np
from sklearn.neighbors import KNeighborsClassifier, KNeighborsRegressor
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
X=np.array([[0.,0.],[.2,.1],[.8,.9],[1.,1.]])
yc=np.array([0,0,1,1]); yr=np.array([0.,.3,1.7,2.])
Q=np.array([[.1,.2],[.9,.8]])
for k in (1,3):
    for weights in ('uniform','distance'):
        c=make_pipeline(StandardScaler(),KNeighborsClassifier(n_neighbors=k,weights=weights)).fit(X,yc)
        r=make_pipeline(StandardScaler(),KNeighborsRegressor(n_neighbors=k,weights=weights)).fit(X,yr)
        print(k,weights,c.predict(Q).tolist(),np.round(r.predict(Q),4).tolist())
try:
    KNeighborsClassifier(n_neighbors=5).fit(X,yc).predict(Q)
except ValueError:
    print('failure','k exceeds fitted sample count')

六、可复现失败案例与修复

故障演练将 K 设为五,训练只有四行。fit 可能成功保存样本,predict 才要求返回足够邻居并报错。最初只用 fit 不报错作为部署成功判据,会漏掉该问题。修复是按最小训练折样本数过滤候选,并在启动验收中执行一次真实预测。

另一种静默失败是在线重新缩放,需用同一个查询分别单独提交与混合批提交,比对预测是否一致来排查。

七、实验设计、实际输出与判读

复制代码
1 uniform [0, 1] [0.3, 1.7]
1 distance [0, 1] [0.3, 1.7]
3 uniform [0, 1] [0.6667, 1.3333]
3 distance [0, 1] [0.3026, 1.6974]
failure k exceeds fitted sample count

输出固定两条查询,比较 K 为一与三、等权与距离权重四种设置。分类输出是两个类别,回归输出是目标均值,不要把四位小数理解为概率。这里没有独立验证标签,因此只能解释机制,不能给 K 排出效果优劣。

失败输出证明参数边界被库检查。若读者在更大训练集复现不会触发同一错误,应先核对 fitted sample count,而不是认为库行为改变。

八、迁移到工程时需要补什么

KNN 没有长期优化迭代不等于免费训练,数据校验、缩放和索引构建仍需时间;主要成本常落在存储与预测。验收时记录训练样本规模、输入维度、查询批大小和实际搜索算法,再测延迟,不能只报告 fit 的耗时。

部署工件包含缩放器、训练样本与标签,更新训练集会改变模型行为,也会改变隐私与存储要求。删除样本或变更标签应产生新版本并复验近邻。

九、推导、决策与扩展验证

四种配置为什么有些结果相同

K 为一时,两种权重都给出分类零与一、回归零点三与一点七,因为只有各自最近的一个样本参与。K 为三的等权回归变成约零点六六六七与一点三三三三,跨区域邻居拉动了均值;距离权重又把结果拉向更近的样本。分类仍相同,只说明这些查询的赢家未变,不能说权重没有作用。

分类概率可看作邻居类别权重占比,但它没有自动校准为真实事件概率。回归的平均也不带不确定度,三个邻居的目标很接近和差异巨大可能得到相同均值。上线若需要风险判断,应额外记录邻居距离和目标分歧,而不是只返回一个点预测。

验证搜索时 K 的上界要看每一折

全量训练一百行做五折,每个训练折只有八十行。K 候选即便小于一百,也可能在内部预测时超过训练折样本数。分组折大小还可能不等,候选上界应按最小训练折确定。过大的候选报错后如何处理,也应在搜索记录中明确,不能悄悄丢掉失败结果再宣称全部成功。

K 很大时分类接近整体多数,回归接近整体均值,可能失去局部结构。K 很小时局部噪声影响大。用同一组合法折比较 K、距离权重与度量,最后在独立测试上确认选定配置,不使用测试点反复挑最漂亮的边界。

缩放器为什么要绑定到模型

若训练时均值来自全年,而线上按每天的批次重算,同一个人的特征在不同日可能被映射到不同位置。邻居索引仍在旧坐标系,就会出现静默错位。保存完整 Pipeline 可以让 transform 使用训练状态,但原始字段单位仍需输入校验。

持久化工件后使用固定样本重新载入预测,检查列顺序、形状、数据类型和输出。加载外部工件要遵守来源信任要求,不应下载不明序列化模型直接执行;本教程不依赖外部模型文件,避免把加载安全混进算法演示。

重复点与零距离

精确重复的坐标可能带不同标签,距离为零并不能消除冲突。距离加权库实现会专门处理重合邻居,手写 epsilon 只是近似,可能让非零邻居仍保留很小影响。复现时应包括重复点、相同标签重复与冲突标签重复,明确数据清洗或聚合政策。

重复记录也会改变投票权重,同一个事件复制十次相当于让它说十次话。若它来自数据合并错误,应修复来源;若代表合法频率,应解释为什么每行等权。不能通过删除难分样本来改善验证分数。

延迟测试应该拆成哪几段

分别记录预处理、邻居搜索、标签聚合和序列化耗时,说明批量大小与是否包含服务通信。训练点增加时延迟可能上升,索引切换又可能让曲线不连续。只测一次查询容易受缓存和启动影响,应进行合理预热并报告多次分布,生产目标看高分位而非只看均值。

本期没有做延迟基准,所以不提供某个样本数必然低于几毫秒的承诺。能够复制运行说明接口闭环,速度与容量需要在目标机器、真实维度和并发条件下另测。精确搜索与近似搜索也要同时报告质量差异。

分类和回归的不同错误成本

分类少数类可能被邻域多数掩盖,评价需保留逐类精确率与召回。回归均值容易被大目标拉动,应同时看 MAE、RMSE 和极端残差。若业务更在意分位数或稳健局部统计,可研究其他聚合,但它已超出本期标准 KNN 回归接口,不能只换一行名称就当同一算法。

十、实现复核与判断边界

接入分类与回归时,复用查邻居的输入校验,但输出协议分开:类别与类别映射属于分类,目标单位与逆变换属于回归,不能因为 shape 都是一维就交给同一个业务处理函数。

训练成功后执行至少一批包含正常和边界请求的 predict。K 大于训练样本数可能在这一步才暴露,因此服务启动只检查工件可加载是不够的。参数搜索也按最小训练折容量过滤,而非按全量样本数。

上线更新训练样本会改变邻域,视为模型更新并记录版本。样本删除、标签修订与缩放重拟合一起生成新工件,再用固定请求检查单批与分批输出一致。延迟预算需要测实际查询规模,不能拿近乎无优化迭代的 fit 时间当成整条服务速度。

分类和回归可以使用完全相同的邻居,却回答不同问题。分类问周围样本主要属于哪类,回归问周围目标的典型数值。换 K 后类别没变不代表模型没有变化,回归均值或类别权重占比可能已经显著移动。

距离加权让近点更有影响,也让错误的近点更有影响。它不会替你修正尺度、冲突标签或重复数据。K 大时较平滑也不必然更可靠,小群体结构可能被大群体覆盖;K 小时贴近训练点也不证明泛化好。

选择依赖任务指标与合法验证。四行样本展示了计算方式,却没有独立标签供方案比较,因此不能从这里宣布某个 K 最优。把机制演示与效果评价分开,是理解算法示例时最有用的判断习惯。

十一、系统与库版本差异

本期使用锁定的库版本。在线 stable 文档可能随版本更新,重现旧结果时应同时核对对应版本的 API。不要把缺少依赖、输入不合法和算法效果不佳混成一种报错。

Windows 与其他系统的虚拟环境解释器路径不同,核心数组与评分语义相同。浮点末位可能受线性代数后端影响,应按文中精度比较,不比较完整字符串。随机实验固定了数据种子;真实新数据仍可能得到不同分数,种子不是泛化保证。

十二、验证清单

  • 管道统一保存缩放器与模型。
  • 每个验证训练折容纳候选 K。
  • 启动验收实际执行 predict。
  • 分类与回归分别设置评分和覆盖边界。

十三、五道面试题与追问

  1. K=1 时改权重为何常无变化?只有一个唯一邻居,目标聚合相同。 进一步追问,重复点时仍如此吗?多个零距离且标签冲突需要专门聚合约定。

  2. fit 成功为何 predict 报错?预测时才请求超过样本数的邻居。 进一步追问,搜索 K 用全量行数上限够吗?需满足每个训练折的最小容量。

  3. 距离权重能修复尺度错误吗?不能,它只在已算好的距离上加权。 进一步追问,权重能去掉重复记录影响吗?重复仍改变局部贡献,先查来源。

  4. KNN 是否完全没有训练成本?仍有校验、存储、变换及可能的索引构建。 进一步追问,预测为何常更贵?需要查询训练样本或索引并聚合。

  5. 如何选择回归 K?用独立验证上的回归指标评价完整管道。 进一步追问,邻居目标分散度能当置信区间吗?不能直接,统计解释需另验证。

小蓝伞的工程金句

找到邻居只完成一半,聚合规则与验证指标决定另一半。

官方资料与用途

查阅日期为 2026 年 10 月 30 日。实验固定到 1.7.2;网页的新版本说明不能自动视为本机旧版本实测。

适用边界

四行教学数据用于机制对照,不是模型选择集。未覆盖缺失值、近似索引、重复点冲突或大规模延迟,代码只使用精确邻居算法。

本期技术清单与下一期

本期覆盖分类流程、回归流程、K 值影响和数据标准化。下一期【第91期】AI-0313「线性回归」,继续沿系列路线推进。可结合本系列前置篇目的训练验证规则复做实验。

相关推荐
老余说AI11 分钟前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy199029 分钟前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
码农杂谈000736 分钟前
不止三折叠:网易智企 IM UIKit 鸿蒙版一键升级多形态适配
人工智能
Lansonli1 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
泯泷1 小时前
别再手动盯盘了!用这个免费工具实现股市自动监控
人工智能
会飞锦鲤1 小时前
基于 RT-DETR 的 PCB 缺陷检测
深度学习·目标检测·计算机视觉·pyqt5·rt-detr·工业质检·pcb缺陷检测
陈如水1 小时前
Spring AI Alibaba 在多 Agent 场景下的实践
java·人工智能·spring
console.log('npc')1 小时前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习
honker_X1 小时前
Python字符串全攻略:从入门到精通
开发语言·python