| 神经网络类型 | 层 | 创新 | 问题 | 备注 |
|---|---|---|---|---|
| 感知器 | 单层 | 误差反馈学习 | 阈值函数不可导，构造学习规则 | 与感知器准则等价 |
| 线性神经元 | 单层 | 梯度下降法训练参数 | 线性函数，多层仍是线性变换 | 本质上是最小二乘准则 |
| 浅层神经网络（早期） | 多层 | Sigmoid、非线性、BP算法 | 一般单个隐含层、多层梯度消失 | 多元复合函数求导的链式法则 |
| 深层神经网络（现代） | 多层 | ReLU、学习算法、参数初始化 | ------ | 更好的神经层激活函数（如ReLU） 更好的权重初始化方案 更好的梯度下降法（如RMSprop和Adam） |
神经网络发展的时间线——积跬步至千里
phoenix@Capricornus2025-05-06 20:11
相关推荐
破烂pan11 分钟前
lmdeploy.pytorch 新模型支持代码修改飞哥数智坊32 分钟前
Anthropic 出手，大幅降低 MCP 的 Token 消耗贝多财经34 分钟前
千里科技报考港股上市：高度依赖吉利，AI智驾转型收入仍为零嵌入式-老费1 小时前
自己动手写深度学习框架（pytorch入门）irisMoon061 小时前
yolov5单目测距+速度测量+目标跟踪Linux猿1 小时前
365科技简报 2025年11月13日 星期四终端域名1 小时前
当今前沿科技：脑机共生界面（脑机接口）深度解析汗流浃背了吧，老弟！1 小时前
预训练语言模型（Pre-trained Language Model, PLM）介绍化作星辰2 小时前
深度学习_神经网络激活函数陈天伟教授2 小时前
人工智能技术- 语音语言- 03 ChatGPT 对话、写诗、写小说