| 神经网络类型 | 层 | 创新 | 问题 | 备注 |
|---|---|---|---|---|
| 感知器 | 单层 | 误差反馈学习 | 阈值函数不可导，构造学习规则 | 与感知器准则等价 |
| 线性神经元 | 单层 | 梯度下降法训练参数 | 线性函数，多层仍是线性变换 | 本质上是最小二乘准则 |
| 浅层神经网络（早期） | 多层 | Sigmoid、非线性、BP算法 | 一般单个隐含层、多层梯度消失 | 多元复合函数求导的链式法则 |
| 深层神经网络（现代） | 多层 | ReLU、学习算法、参数初始化 | ------ | 更好的神经层激活函数（如ReLU） 更好的权重初始化方案 更好的梯度下降法（如RMSprop和Adam） |
神经网络发展的时间线——积跬步至千里
phoenix@Capricornus2025-05-06 20:11
相关推荐
Work（沉淀版）1 小时前
DAY 40蓦然回首却已人去楼空2 小时前
Build a Large Language Model (From Scratch) 序章CM莫问2 小时前
＜论文＞（微软）WINA：用于加速大语言模型推理的权重感知神经元激活拾忆-eleven2 小时前
NLP学习路线图（二十六）：自注意力机制MYH5163 小时前
在NLP文本处理中，将字符映射到阿拉伯数字（构建词汇表vocab）的核心目的和意义要努力啊啊啊3 小时前
KV Cache：大语言模型推理加速的核心机制详解mzlogin5 小时前
DIY｜Mac 搭建 ESP-IDF 开发环境及编译小智 AI归去_来兮5 小时前
知识图谱技术概述就是有点傻5 小时前
VM图像处理之图像二值化行云流水剑5 小时前
【学习记录】深入解析 AI 交互中的五大核心概念：Prompt、Agent、MCP、Function Calling 与 Tools