| 神经网络类型 | 层 | 创新 | 问题 | 备注 |
|---|---|---|---|---|
| 感知器 | 单层 | 误差反馈学习 | 阈值函数不可导，构造学习规则 | 与感知器准则等价 |
| 线性神经元 | 单层 | 梯度下降法训练参数 | 线性函数，多层仍是线性变换 | 本质上是最小二乘准则 |
| 浅层神经网络（早期） | 多层 | Sigmoid、非线性、BP算法 | 一般单个隐含层、多层梯度消失 | 多元复合函数求导的链式法则 |
| 深层神经网络（现代） | 多层 | ReLU、学习算法、参数初始化 | ------ | 更好的神经层激活函数（如ReLU） 更好的权重初始化方案 更好的梯度下降法（如RMSprop和Adam） |
神经网络发展的时间线——积跬步至千里
phoenix@Capricornus2025-05-06 20:11
相关推荐
Dawson Zhu1 分钟前
【AI Infra小白入门⑦】Transformer架构工程拆解：从Attention到MLA的优化密码Csvn2 分钟前
灰度发布：让变更只影响 1% 用户（R02）大明二代12 分钟前
从零构建 Mastra RAG MVP：DeepSeek、SiliconFlow 与 PostgreSQL/pgvector 实战zd20057215 分钟前
最近的两个wish coding项目鬼手点金15 分钟前
Harness 工程：模型之外的竞争力AI技术新视界20 分钟前
whisper.cpp 与 audio.cppLMT流氓兔22 分钟前
第四单元——第17课：让回答边生成、边显示结局无敌25 分钟前
React Native for OpenHarmony 实战：三方库 react-native-paper 的鸿蒙化适配指南Shulex25 分钟前
2026 AI 客服系统选型指南：大模型RAG GEO 2.0 时代下的买方决策卡位战XMAIPC_Robot26 分钟前
ARM+FPGA+AI船舶/工业自动化控制器EMC测试等级解析（IEC60533/IEC60945）