| 神经网络类型 | 层 | 创新 | 问题 | 备注 |
|---|---|---|---|---|
| 感知器 | 单层 | 误差反馈学习 | 阈值函数不可导，构造学习规则 | 与感知器准则等价 |
| 线性神经元 | 单层 | 梯度下降法训练参数 | 线性函数，多层仍是线性变换 | 本质上是最小二乘准则 |
| 浅层神经网络（早期） | 多层 | Sigmoid、非线性、BP算法 | 一般单个隐含层、多层梯度消失 | 多元复合函数求导的链式法则 |
| 深层神经网络（现代） | 多层 | ReLU、学习算法、参数初始化 | ------ | 更好的神经层激活函数（如ReLU） 更好的权重初始化方案 更好的梯度下降法（如RMSprop和Adam） |
神经网络发展的时间线——积跬步至千里
phoenix@Capricornus2025-05-06 20:11
相关推荐
小白白搭建19 分钟前
wordperss AI插件：AI图文+视频+长尾关键词自动生成，已内置deepseek、kimi全模型，支持简单一键接入更多自定义APIgiszz39 分钟前
【Web3】上市公司利用RWA模式融资和促进业务发展案例消失的dk1 小时前
Softmax回归与单层感知机对比pen-ai1 小时前
【NLP】 26. 语言模型原理与概率建模方法详解（Language Models）pen-ai1 小时前
【NLP】30. 深入理解 In-Context Learning 的核心机制与策略彼得虫1 小时前
【BLIP】解读BLIP知舟不叙1 小时前
使用 OpenCV 和 Dlib实现轮廓绘制struggle20252 小时前
Sim Studio 是一个开源的代理工作流程构建器。Sim Studio 的界面是一种轻量级、直观的方式，可快速构建和部署LLMs与您最喜欢的工具连接武子康2 小时前
大语言模型 06 - 从0开始训练GPT 0.25B参数量 - MiniMind 实机配置 GPT训练基本流程概念CodeJourney.2 小时前
基于DeepSeek与HTML的可视化图表创新研究