1️⃣ 神经网络概念
- 神经网络 = 一系列"黑盒计算模块"堆起来的函数
- 输入 → 中间层 → 输出
- 每一层学习规律（特征）
- 类比：做菜
- 食材 = 输入数据
- 每道加工步骤 = 每层计算
- 成品 = 输出结果
2️⃣ 卷积（Convolution / Conv）
- 专门处理图像的操作
- 类比滤镜：滑过图片计算加权和 → 输出特征图（feature map）
- 输出通道数 = 卷积核数量
- 卷积核作用：
- 提取边缘、纹理、颜色变化
- 每个输出通道对应一个卷积核提取的特征
3️⃣ 激活函数（Activation Function）
- 作用：非线性映射，让网络可以表示复杂关系
- 常见激活函数：
- ReLU：负值变 0，正值保留
- Sigmoid：输出 0~1
- Tanh：输出 -1~1
- 卷积 + 激活：
- 卷积提取特征
- 激活非线性处理 → 输出特征图（activation）
- 作为下一层输入
4️⃣ 特征图流动
- 每层卷积 + 激活 → 输出特征图
- 特征图一层层往下 → 层与层串行依赖
- 每层内部计算可以并行（GPU/NPU 加速）
5️⃣ 卷积核与通道数
- 每层卷积核数量 = 输出通道数
- 每个卷积核都接收上一层所有通道 → 加权求和 → 输出一个通道
- 上层通道数不一定等于下层通道数
- 浅层 → 通道少
- 深层 → 通道多
- 特殊阶段 → 可以压缩（bottleneck）
6️⃣ 神经网络训练
1. 前向传播（Forward Pass）
- 输入 → 每层卷积 + 激活 → 输出预测
- 权重不变，只计算输出
2. 计算损失（Loss）
- 预测 vs 标签 → 误差
- 分类、检测等有不同损失函数
3. 反向传播（Backward Pass）
- 计算每个卷积核对损失的梯度
- 更新权重：
text
weight_new = weight_old - learning_rate * gradient- 激活函数影响梯度大小
4. 训练 vs 推理
| 阶段 | 权重变化 | 张量类型 |
|---|---|---|
| 训练 | 权重更新 | float32 |
| 推理 | 权重固定 | float32 |
7️⃣ 网络设计选择
- 影响因素：
- 任务复杂度
- 数据量和输入尺寸
- 硬件能力与实时性
- 实验验证
- 常用经验：
- 浅层少通道 → 提取低级特征
- 深层多通道 → 提取高级特征
- 车端 / 嵌入式 → 层少通道少 → 快速推理
8️⃣ 开源项目参考
- 例如 YOLO 系列：
- YOLOv3：固定 backbone + head → 53 层卷积 + 残差
- YOLOv3-tiny / YOLOv8n → 轻量化网络适合车端
- 优势：
- 网络结构经过大量实验验证
- 可直接拿来训练或部署
💡 这篇笔记总结了神经网络基础、卷积、激活、通道、训练