| 神经网络类型 | 层 | 创新 | 问题 | 备注 |
|---|---|---|---|---|
| 感知器 | 单层 | 误差反馈学习 | 阈值函数不可导，构造学习规则 | 与感知器准则等价 |
| 线性神经元 | 单层 | 梯度下降法训练参数 | 线性函数，多层仍是线性变换 | 本质上是最小二乘准则 |
| 浅层神经网络（早期） | 多层 | Sigmoid、非线性、BP算法 | 一般单个隐含层、多层梯度消失 | 多元复合函数求导的链式法则 |
| 深层神经网络（现代） | 多层 | ReLU、学习算法、参数初始化 | ------ | 更好的神经层激活函数（如ReLU） 更好的权重初始化方案 更好的梯度下降法（如RMSprop和Adam） |
神经网络发展的时间线——积跬步至千里
phoenix@Capricornus2025-05-06 20:11
相关推荐
李昊哲小课6 分钟前
OpenCV Haar级联分类器人脸检测完整教程hit56实验室6 分钟前
【易经系列】用六：利永贞。星爷AG I11 分钟前
9-22 目标跟踪（AGI基础理论）m0_6038887113 分钟前
FineInstructions Scaling Synthetic Instructions to Pre-Training Scale新缸中之脑17 分钟前
RAG 陷阱：向量搜索不是语义理解EmmaXLZHONG22 分钟前
Reinforce Learning Concept Flow Chart (强化学习概念流程图)薛定谔的猫198224 分钟前
十三.调用 BERT 中文文本情感分析交互式推理模型训练好的home_49827 分钟前
与gemini关于宇宙观科幻对话Candice Can27 分钟前
【机器学习】吴恩达机器学习Lecture2-Linear regression with one variableundsky_32 分钟前
【RuoYi-SpringBoot3-Pro】：将 AI 编程融入传统 java 开发