第三章: 神经网络原理详解与Pytorch入门
第一部分：神经网络算法理论详解与实践
第二节：神经网络整体结构
内容：从单层感知机的原理推广到神经网络
一、单层感知机（Perceptron）
【漫话机器学习系列】124.感知机（Perceptron）_感知机模型存在的问题-CSDN博客
【漫话机器学习系列】123.感知机学习（Perceptron Learning）-CSDN博客
感知机模型简介
感知机是最早的神经网络形式，用于进行线性可分的二分类任务。数学表达如下：
其中：
-
：输入特征
-
-
b：偏置
-
f：激活函数（如 Sign、Step）
感知机结构图
输入层 → 权重加权求和 → 激活函数 → 输出结果感知机的目标是调整 w, b 使其能把输入样本正确分类。
二、多层感知机（MLP）与前馈神经网络
【深度学习】常见模型-多层感知机（MLP，Multilayer Perceptron）_多层感知器mlp-CSDN博客
【漫话机器学习系列】060.前馈神经网络（Feed Forward Neural Networks, FFNN）_ffn前馈神经网络-CSDN博客
由于单层感知机只能处理线性可分问题，引入多层结构即可建模非线性关系。
结构层级：
-
输入层（Input Layer）：接收原始数据向量。
-
隐藏层（Hidden Layer）：可多层，核心是线性变换 + 非线性激活。
-
输出层（Output Layer）：输出最终预测值。
数学表示（以一隐藏层为例）：
-
σ：激活函数，如 ReLU、Sigmoid、Tanh
-
f：输出激活，如 Softmax（用于分类）
三、激活函数的非线性作用
【漫话机器学习系列】106.线性激活函数（Linear Activation Function）_鈥榣inear activation function-CSDN博客
【漫话机器学习系列】152.ReLU激活函数（ReLU Activation Function）_relu函数-CSDN博客
【漫话机器学习系列】142.Sigmoid 激活函数（Sigmoid Activation Function）_sigmoid函数-CSDN博客
【漫话机器学习系列】224.双曲正切激活函数（Hyperbolic Tangent Activation Function）_hyperbolic tangent激活函数-CSDN博客
【漫话机器学习系列】146.Softmax 激活函数（Softmax Activation Function）_softmax函数-CSDN博客
激活函数的引入打破了神经网络的线性限制，使其能表示复杂函数。
| 函数名 | 公式 | 特点 |
|---|---|---|
| ReLU | f(x)=max(0,x) | 快速收敛，常用 |
| Sigmoid | 输出范围[0,1]，梯度消失问题 | |
| Tanh | f(x)=tanh(x) | 输出[-1,1]，对称性好 |
四、前向传播与反向传播流程
前向传播（Forward Pass）
-
输入数据传入网络
-
每层执行线性变换（加权求和）
-
应用激活函数
-
输出预测结果
反向传播（Backward Pass）
【漫话机器学习系列】008.反向传播算法（Backpropagation Algorithm）-CSDN博客
-
根据损失函数
-
利用链式法则逐层反向传播梯度
-
更新权重（通过梯度下降优化）
五、网络结构示意图
python
输入层: x1 x2 x3 ...
↓
隐藏层1: z1 z2 z3 → ReLU
↓
隐藏层2: z4 z5 z6 → ReLU
↓
输出层: y1 y2 (如分类概率)可以扩展到任意深度（深度学习），形成多层结构。
六、PyTorch 中的神经网络构建示例（简单 MLP）
【人工智能】Python常用库-PyTorch常用方法教程-CSDN博客
python
import torch.nn as nn
class MLP(nn.Module):
def __init__(self):
super().__init__()
self.model = nn.Sequential(
nn.Linear(10, 64),
nn.ReLU(),
nn.Linear(64, 3), # 3类分类任务
nn.Softmax(dim=1)
)
def forward(self, x):
return self.model(x)小结
| 内容 | 描述 |
|---|---|
| 单层感知机 | 最基本的神经网络，用于线性分类 |
| 多层网络 | 引入隐藏层，可拟合复杂非线性函数 |
| 激活函数 | 提供非线性变换能力 |
| 前向传播 | 数据从输入到输出流动 |
| 反向传播 | 基于梯度优化权重 |