KNN
工作机制
k-近邻算法的工作机制可以分为两个主要阶段：训练阶段和预测阶段。
训练阶段
在训练阶段，k-近邻算法并不进行显式的模型训练，而是简单地存储训练数据集。每个样本由特征向量和对应的标签组成。此阶段的主要任务是准备好数据，以便在预测阶段进行有效的相似性比较。
预测阶段
在预测阶段，k-近邻算法的工作流程如下：
- 输入待分类样本：接收一个待分类的样本，其特征向量为 xx。
- 计算距离：计算待分类样本与训练集中所有样本之间的距离。常用的距离度量方法包括欧氏距离、曼哈顿距离和闵可夫斯基距离。
- 选择k个最近邻：根据计算得到的距离，选择距离待分类样本最近的k个训练样本。
- 投票机制 ：
- 分类任务：对这k个样本的类别进行投票，选择出现次数最多的类别作为预测结果。
- 回归任务：对这k个样本的值进行平均，得到预测值。
距离度量函数
距离度量是k-近邻算法的关键部分，影响着算法的性能和预测结果。以下是几种常用的距离度量方法：
- 欧氏距离 ：最常用的距离度量，适用于连续特征。计算公式为： d ( x , y ) = ∑ i = 1 n ( x i − y i ) 2 d(x,y)=\sqrt{\sum_{i=1}^n(x_i-y_i)^2} d(x,y)=i=1∑n(xi−yi)2
- 曼哈顿距离 ：适用于特征值较小或特征之间差异较大的情况。计算公式为： d ( x , y ) = ∑ i = 1 n ∣ x i − y i ∣ d(x,y)=\sum_{i=1}^n|x_i-y_i| d(x,y)=i=1∑n∣xi−yi∣
- 闵可夫斯基距离 ：是欧氏距离和曼哈顿距离的推广，参数p决定了距离的类型。计算公式为： d ( x , y ) = ( ∑ i = 1 n ∣ x i − y i ∣ p ) 1 p d(x,y)=(\sum_{i=1}^n|x_i-y_i|^p)^{\frac{1}{p}} d(x,y)=(i=1∑n∣xi−yi∣p)p1
选择合适的距离度量对于k-近邻算法的效果至关重要，通常需要根据具体问题进行实验和调整。
超参数K的选择
k值的选择直接影响k-近邻算法的性能。k值过小可能导致模型对噪声敏感，容易出现过拟合；而k值过大则可能导致模型过于平滑，无法捕捉到数据的局部结构。
具体请看下图
因此，我们可以使用K折交叉验证来完成。当然，你也可以简单的使用单一训练集+验证集+测试集的方法，不过效果可能不一定好，这取决于你的数据集的质量。一般在数据集质量一般的时候，可以采用K折交叉验证。
它将数据集分成 k 个折叠，每个折叠都会被用作一次测试集。然后我们使用剩下的 k-1 个折叠作为训练集来训练模型，并在每个折叠上进行评估结果为Ei。最终，我们将所有 k 次评估的结果平均，得到最终的模型性能评估。
通过交叉验证，我们可以选择出综合性能更好的K值（超参数）
线性分类器
将输入图像展平，然后与矩阵相乘得到每个类别对应的分数。
视觉角度理解
就是对图像的每个像素点训练出对应的权重。
几何角度
多分类问题损失函数SVM
为了训练网络，我们必然需要建立损失函数
假设有三张图片以及三种分类
这是SVM损失的具体定义：
SVM 损失的设置是，SVM"希望"每个图像的正确类别的得分比错误类别高出一定幅度Δ。再上图中，Δ为1
可以看下图，蓝色代表的是 s y i − s j s_{y_i}-s_j syi−sj
可以看到，loss函数的目的就是为了让正确类别的得分比错误类别高1分。
SoftMax Loss
softmax 函数
![[Pasted image 20241221175748.png]]
主要作用就是将得分转化为概率分布
交叉熵损失
交叉熵函数推导CrossEntropy_交叉熵推导-CSDN博客
可以看这篇文章，写的很好。这里主要介绍一下：
假设有一个概率分布X
信息量
I ( x 0 ) = − l o g ( P ( x 0 ) ) I(x_0)=−log(P(x_0)) I(x0)=−log(P(x0))
概率越少，信息量越大
信息熵
信息熵就是信息量的期望
H ( x ) = − ∑ i = 1 n P ( x i ) l o g ( P ( x i ) ) H(x)=−∑^n_{i=1}P(x_i)log(P(x_i)) H(x)=−∑i=1nP(xi)log(P(xi))
相对熵（KL散度）
同一随机变量x，有两个单独的概率分布P(x)和Q(x)。用KL散度来衡量P(x)和Q(x)两个独立分布之间的差异的。KL散度值越小，表示P和Q的分布越接近、
D K L ( P ∣ ∣ Q ) = ∑ i = 1 n P ( x i ) l o g ( P ( x i ) Q ( x i ) ) D_{KL}(P||Q)=∑^n_{i=1}P(x_i)log(\frac{P(x_i)}{Q(xi)}) DKL(P∣∣Q)=∑i=1nP(xi)log(Q(xi)P(xi))
log里面是除号，因此就是两者相减
交叉熵损失
带入真实场景，我们需要比较的两个概率分布：一个是真实的target，另一个是预测值。
真实的target是确定的，而且只有对应的位置概率为100%，其余都是0.
因此带入KL散度 D K L ( P ∥ Q ) = ∑ i = 1 n P ( x i ) l o g ( P ( x i ) ) − ∑ i = 1 n P ( x i ) l o g ( Q ( x i ) ) D_{KL}(P∥Q)=∑^n_{i=1}P(x_i)log(P(x_i))−∑^n_{i=1}P(x_i)log(Q(x_i)) DKL(P∥Q)=i=1∑nP(xi)log(P(xi))−i=1∑nP(xi)log(Q(xi))
我们发现式子前半部分是定值。这对于损失函数来说有没有都一样，因此可以删去。所以最后交叉熵损失函数如下： H ( P , Q ) = − ∑ i = 1 n P ( x i ) l o g ( Q ( x i ) ) H(P,Q)=−∑^n_{i=1}P(x_i)log(Q(x_i)) H(P,Q)=−i=1∑nP(xi)log(Q(xi))
其实较真的来说， P ( x i ) P(x_i) P(xi)中只有一项有意义（=1），所以损失函数其实只有一项（样本只能属于单一类别）
![[Pasted image 20241221200609.png]]