| 神经网络类型 | 层 | 创新 | 问题 | 备注 |
|---|---|---|---|---|
| 感知器 | 单层 | 误差反馈学习 | 阈值函数不可导，构造学习规则 | 与感知器准则等价 |
| 线性神经元 | 单层 | 梯度下降法训练参数 | 线性函数，多层仍是线性变换 | 本质上是最小二乘准则 |
| 浅层神经网络（早期） | 多层 | Sigmoid、非线性、BP算法 | 一般单个隐含层、多层梯度消失 | 多元复合函数求导的链式法则 |
| 深层神经网络（现代） | 多层 | ReLU、学习算法、参数初始化 | ------ | 更好的神经层激活函数（如ReLU） 更好的权重初始化方案 更好的梯度下降法（如RMSprop和Adam） |
神经网络发展的时间线——积跬步至千里
phoenix@Capricornus2025-05-06 20:11
相关推荐
tellmewhoisi2 小时前
深度学习0:数学知识:正态分布4(坐标变换的缩放比例（面积微元变换）)布吉岛的石头2 小时前
Java 程序员第 50 阶段14：灾难性遗忘与回放不吃鱼的羊2 小时前
诊断27解锁dll文件制作（Visual Stdio无法安装版）后端小肥肠2 小时前
漫画工坊上线用户破百：公众号漫画从需求到变现全复盘赛博山人3 小时前
字节跳动下线扣子企业版，团队已并入豆包isboyjc3 小时前
Lomo Agent：面向创作型、持续协作 Agent 的架构设计与工程实践小蒋观天下3 小时前
码率、I帧间隔、智能编码冲突：H.265+导致AI取流解码异常roman_日积跬步-终至千里3 小时前
AI 能让一个人成为团队吗？从数据中台到 OPC，重新理解软件工程能力在所不辞兄4 小时前
为什么神经网络在训练集损失已接近零后继续训练，测试性能仍可能继续提升，而不是单纯地越来越过拟合？