神经网络发展的时间线——积跬步至千里

神经网络类型 创新 问题 备注
感知器 单层 误差反馈学习 阈值函数不可导,构造学习规则 与感知器准则等价
线性神经元 单层 梯度下降法训练参数 线性函数,多层仍是线性变换 本质上是最小二乘准则
浅层神经网络(早期) 多层 Sigmoid、非线性、BP算法 一般单个隐含层、多层梯度消失 多元复合函数求导的链式法则
深层神经网络(现代) 多层 ReLU、学习算法、参数初始化 ------ 更好的神经层激活函数(如ReLU) 更好的权重初始化方案 更好的梯度下降法(如RMSprop和Adam)
相关推荐
资讯全球13 小时前
2025年智慧差旅平台推荐
人工智能
en-route13 小时前
从零开始学神经网络——LSTM(长短期记忆网络)
人工智能·深度学习·lstm
可编程芯片开发13 小时前
基于CMAC神经网络的PID复合控制器matlab性能仿真
神经网络·matlab·pid·cmac-pid·cmac小脑网络
视觉语言导航13 小时前
CVPR-2025 | 具身导航指令高效生成!MAPInstructor:基于场景图的导航指令生成Prompt调整策略
人工智能·机器人·具身智能
wanhengidc13 小时前
云手机与人工智能之间的关系
人工智能·智能手机
Sic_MOS_7801682414 小时前
超高密度2kW GaN基低压电机驱动器的设计
人工智能·经验分享·汽车·集成测试·硬件工程·能源
老坛程序员14 小时前
抓包解析MCP协议:基于JSON-RPC的MCP host与MCP server的交互
人工智能·网络协议·rpc·json·交互
努力毕业的小土博^_^14 小时前
【深度学习|学习笔记】详细讲解一下 深度学习训练过程中 为什么 Momentum 可以加速训练?
人工智能·笔记·深度学习·学习·momentum
飞哥数智坊14 小时前
DeepSeek 节前突袭发布 V3.2-Exp:长文本推理成本直降75%!
人工智能·deepseek