| 神经网络类型 | 层 | 创新 | 问题 | 备注 |
|---|---|---|---|---|
| 感知器 | 单层 | 误差反馈学习 | 阈值函数不可导，构造学习规则 | 与感知器准则等价 |
| 线性神经元 | 单层 | 梯度下降法训练参数 | 线性函数，多层仍是线性变换 | 本质上是最小二乘准则 |
| 浅层神经网络（早期） | 多层 | Sigmoid、非线性、BP算法 | 一般单个隐含层、多层梯度消失 | 多元复合函数求导的链式法则 |
| 深层神经网络（现代） | 多层 | ReLU、学习算法、参数初始化 | ------ | 更好的神经层激活函数（如ReLU） 更好的权重初始化方案 更好的梯度下降法（如RMSprop和Adam） |
神经网络发展的时间线——积跬步至千里
phoenix@Capricornus2025-05-06 20:11
相关推荐
我唔知啊6 分钟前
不是让 AI 写代码，我是在指挥 AI 干活：一套打磨出来的 AI 编程工作流ZzT10 分钟前
在 GitHub 上 @一下 claude，它自己把 issue 改成 PR不加辣椒41 分钟前
第15章 上下文窗口管理与长文本策略牛奶1 小时前
AI 能赚钱了——但赚的不是你凌杰2 小时前
AI 学习笔记：研究方法的演变半盏药香2 小时前
由于jinja2的starlette版本过高引发的问题：500 Server Error TypeError: unhashable type: 'dict'阿里云大数据AI技术2 小时前
MiniMax M3、Kimi K2.7 Code来啦！PAI已支持一键部署，开源前沿触手可及百度Geek说2 小时前
AI Coding 的底层框架：一切优化都是在对抗熵增Java研究者2 小时前
AI智能体研发 | 什么是OpenAI API协议只是没名字3 小时前
Codex CLI Windows 新手安装教程：从 Node.js 到首次运行