感知机（Perceptron）算法详解

感知机（Perceptron）算法详解及代码

一、算法定位

学习类型：监督学习
任务类型：二分类
模型性质：线性分类模型
标签取值 ：

感知机的目标是学习一个线性判别函数，将两类样本正确分开。

二、模型表达式（判别函数）

感知机的判别函数为：

(w)：权重向量
(b)：偏置
判别规则：

三、分类正确与误分类判据

对于样本 ((x_i, y_i))：

分类正确 ：
分类错误 ：

感知机的学习过程完全围绕这一判据展开。

四、损失函数设计（核心思想）

感知机采用误分类驱动的损失函数，仅对误分类样本定义损失：

其中：

(M)：误分类样本集合
分类正确的样本损失为 0，不参与优化

特点：

损失函数不连续
不引入概率模型
只关心分类是否正确，不关心分类"置信度"

五、参数优化方法

感知机使用随机梯度下降（SGD）思想，但仅在误分类样本上更新参数。

1️⃣ 单样本损失函数

2️⃣ 梯度计算

对权重：
对偏置：

六、参数更新公式（优化公式来源）

根据梯度下降法：

权重更新 ：
偏置更新 ：

其中：

n：学习率

关键特性：

只有当样本被误分类时，才进行参数更新
分类正确时，不计算损失，也不进行"反向传播"

七、算法流程

初始化参数 (w=0, b=0)
依次遍历训练样本
若样本被误分类，则更新 (w, b)
若一轮训练中无任何误分类样本，则算法停止

八、几何意义

感知机学习的是一个线性可分超平面
参数更新的本质是调整超平面的位置和方向
更新方向由误分类样本及其标签决定
不显式最大化分类间隔

九、重要性质

感知机收敛定理 ：
若训练数据线性可分，感知机在有限步内必然收敛
若数据线性不可分，感知机可能永不停止

十、与其他模型的核心区别

模型	是否使用概率	是否所有样本参与优化
感知机	否	否（仅误分类样本）
逻辑回归	是	是
SVM	否	部分
神经网络	是	是

十一. 代码

python 复制代码

import numpy as np

class Perceptron:
    def __init__(self, learning_rate=0.1, max_iter=1000):
        self.learning_rate = learning_rate
        self.max_iter = max_iter
        self.w = None
        self.b = 0

    def fit(self, X, y):
        # 初始化权重
        self.w = np.zeros(X.shape[1])

        # 迭代训练
        for _ in range(self.max_iter):
            misclassified = 0

            for xi, yi in zip(X, y):
                # 误分类判定
                if yi * (np.dot(self.w, xi) + self.b) <= 0:
                    # 参数更新（带学习率）
                    self.w = self.w + self.learning_rate * yi * xi
                    self.b = self.b + self.learning_rate * yi
                    misclassified += 1

            # 若一轮中无误分类样本，则停止
            if misclassified == 0:
                break

    def predict(self, X):
        return np.sign(np.dot(X, self.w) + self.b)