深度学习与数学归纳法

最近发现,深度学习可以分为两个主要的阶段,分别是前向推理以及反向传播,分别对应着网络的推理和参数训练两个步骤。其中推理有时候也称为归纳推理。

在做参数训练的时候,本质上是在利用历史数据求网络参数的先验分布; p ( θ ∣ x , y ) p(\theta | x,y) p(θ∣x,y)

在推理的时候,本质是在基于训练好的参数进行极大似然估计。 p ( y ∣ x , θ ) p(y |x, \theta) p(y∣x,θ)

此外,深度学习解决问题时,往往先假设所有的参数都能够训练到最优 θ ∗ \theta^* θ∗,然后在这个最优训练参数假设下构建前向网络进行建模。等建模表征完之后,再去基于数据和优化器把参数训练到最优。这个思想其实和数学归纳法里面的先假设某个条件成立,再去做其他事情,然后再反过来优化这个条件很像,也和EM估计的思想很像。

这也可以解释为什么很多网络结构的改进的论文,本质上是提供了参数交互的接口,让网络有机会对某种类型的数据进行建模和表征,然后再去对其进行训练。

相关推荐
点云SLAM2 小时前
Eigen 中矩阵的拼接(Concatenation)与 分块(Block Access)操作使用详解和示例演示
人工智能·线性代数·算法·矩阵·eigen数学工具库·矩阵分块操作·矩阵拼接操作
木枷3 小时前
NAS-Bench-101: Towards Reproducible Neural Architecture Search
人工智能·物联网
BAOYUCompany4 小时前
暴雨服务器更懂人工智能+
运维·服务器·人工智能
飞哥数智坊4 小时前
Coze实战第17讲:工资条自动拆分+一对一邮件发送
人工智能·coze
cwn_4 小时前
自然语言处理NLP (1)
人工智能·深度学习·机器学习·自然语言处理
点云SLAM4 小时前
PyTorch中flatten()函数详解以及与view()和 reshape()的对比和实战代码示例
人工智能·pytorch·python·计算机视觉·3d深度学习·张量flatten操作·张量数据结构
智海观潮4 小时前
Unity Catalog与Apache Iceberg如何重塑Data+AI时代的企业数据架构
大数据·人工智能·ai·iceberg·catalog
爱分享的飘哥4 小时前
第三篇:VAE架构详解与PyTorch实现:从零构建AI的“视觉压缩引擎”
人工智能·pytorch·python·aigc·教程·生成模型·代码实战
柏峰电子5 小时前
市政道路积水监测系统:守护城市雨天出行安全的 “智慧防线”
大数据·人工智能·安全
蓑雨春归5 小时前
自主智能Agent如何重塑工作流自动化:技术、经济与未来展望
人工智能·chatgpt·自动化