【感知机】感知机(perceptron)学习算法的对偶形式

感知机( perceptron )是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1 和-1二值。感知机对应输入空间(特征空间)中将实例划分为正负两类的分离超平面，是一种判别模型。感知机是神经网络与支持向量机的基础

感知机学习旨在求出将训练数据进行线性划分的分离超平面。
感知机学习思路：

1.导入基于误分类的损失函数

2.利用梯度下降法对损失函数进行极小化

3.代入参数得到感知机模型。
感知机学习算法分类：

原始形式、对偶形式。

感知机学习算法的对偶形式

感知机学习算法的原始形式和对偶形式与支特向量机学习算法的原始形式和对偶形式相对应

输入 ：训练数据集,其中,,学习率

1.其中

2.任意顺序遍历，计算，当，转到步骤3；若对任意，，转到输出

3. , ，转到步骤2

输出 ：；感知机

对偶形式的基本想法：将和表示为实例和标记的线性组合的形式，通过求解其系数来求解和
基于原始形式，可设 ，则迭代n次后，设第个实例点由于误分而更新的次数为，令,有,。

注意：实例点更新次数越多，意味着它离分离超平面越近，意味着越难分类。这样的实例点对于学习结果的影响最大。
Gram矩阵：对偶形式中的训练实例仅以内积的形式出现，将实例间的内积计算出来并以矩阵的形式储存，，称为Gram矩阵

上篇：【感知机】感知机(perceptron)学习算法的原始形式

下篇：【感知机】感知机(perceptron)学习算法的收敛性