一、核心思想
1.定义
K - 近邻算法（K Nearest Neighbor，KNN）是一种基于实例的学习方法，通过样本的 "邻居" 来推断其类别，例如一个样本在特征空间中的 k 个最相似（距离最近）的样本中，大多数属于某一类别，则该样本也属于此类别。
根据样本间的距离衡量相似性，距离越近则越相似。
2.分类与回归流程
分类流程
1.计算未知样本与所有训练样本的距离；
2.按距离升序排列训练样本；
- 选取距离最近的 k 个样本；
4.对这 k 个样本的类别进行多数表决，未知样本归属到出现次数最多的类别。
回归流程
1.计算未知样本与所有训练样本的距离；
2.按距离升序排列训练样本；
3.选取距离最近的 k 个样本；
4.计算k 个样本目标值的平均值；
5.以此平均值作为未知样本的预测值。
3.K值选择
若K值过小：模型复杂，易受异常点的影响，可能会照成过拟合
若K值过大：模型简单，易受样本均值影响，可能会照成欠拟合
极端情况：当K值等于训练样本总数时，会直接选取训练集中数量最多的那个而忽视了其他信息。
二：KNN算法API介绍
1.分类API
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5)
参数n_neighbors:指定邻居数量（默认5）
示例：通过简单数据集训练模型，预测新样本类别。
2.回归API
sklearn.neighbors.KNeighborsRegressor(n_neighbors=5)
功能：用于回归问题，预测连续值
示例：通过多特征数据集训练，预测新样本的目标值。
3.常见错误
预测输入格式错误：如predict([1])应改为predict([[1]])（需要传入二维数组）
三、距离度量
1.欧式距离
定义：空间中两点的直线距离，是最常用的距离度量方式。
二维空间：d12=(x1−x2)2+(y1−y2)2
n维空间：d12=∑k=1n(x1k−x2k)2
2.曼哈顿距离
别称：城市街区距离
定义：两点在各维度上的绝对差值之和
二维空间：d12=∣x1−x2∣+∣y1−y2∣
n维空间：d12=∑k=1n∣x1k−x2k∣
3.切比雪夫距离
定义：两点在各维度上绝对差值的最大值。
二维空间：d12=max(∣x1−x2∣,∣y1−y2∣)
n维空间：d12=max(∣x1k−x2k∣)
4.闵可夫斯基距离
定义：对多种距离的概括性表述，公式为d=(∑k=1n∣x1k−x2k∣p)**1/p
当 p=1 时，为曼哈顿距离；
当p=2 时，为欧氏距离；
当 p→∞时，为切比雪夫距离。
四、特征预处理
1.必要性
当特征单位或大小差异大时，可能导致模型受某一特征支配，需通过预处理消除这种影响。
2.归一化
定义：将数据映射到 [0,1]（默认）或指定区间 [mi, mx]。
公式：x` = (x-min)/(max-min) ,x`` = x`*(max - min)+min
API：sklearn.preprocessing.MinMaxScaler(feature_range=(0,1))
缺点：受异常值的影响大，鲁棒性差，适合小数据场景
3.标准化
定义：将数据转换为均值为 0、标准差为 1 的标准正态分布数据。
公式：x` = (x-mean)/σ（mean 为均值，σ 为标准差）
API：sklearn.preprocessing.StandardScaler（）
优点：受异常值影响小，适合大数据场景。
4.鸢尾花案例
流程：获取数据集→划分训练集和测试集→标准化处理→训练 KNN 模型→评估准确率（如使用score函数或accuracy_score方法）→预测新样本。
五、超参数选择方法
1.交叉验证
定义：将训练集划分为 n 份，轮流用 1 份作为验证集、其余 n-1 份作为训练集，多次评估取平均值，提高模型评分的可信度。
作用：更可靠地评估模型性能，减少数据划分带来的误差。
2.网格搜索
定义：自动尝试超参数的不同组合，结合交叉验证评估，选出最优参数组合。
API：sklearn.model_selection.GridSearchCV(estimator,param_grid,cv)
cv:交叉验证的折数。
结果分析：通过best_score_(最优交叉验证得分)、best_estimator_（最优模型）等属性查看结果。
3.手写数字案例
数据：MNIST 数据集，包含 0-9 的手写数字图像（28×28 像素，784 个特征）。
流程：加载数据→归一化（像素值缩放到 [0,1]）→划分数据集→网格搜索调优超参数→训练模型→评估与预测。
六、KNN模型评估
1.KNN的优缺点
优点：简单易懂，无需训练过程，可处理多分类问题。
缺点：计算复杂度高（需计算与所有样本的距离），对高维数据敏感（维度灾难）。
2.特征预处理的选择
标准化在大多数机器学习场景中更常用，因其对异常值更稳健；归一化适用于特征取值范围明确的场景。
3.超参数调优的重要性
K 值等超参数直接影响模型性能，交叉验证结合网格搜索是实用的调优手段，尤其适合小到中等规模的数据集。