李宏毅深度学习--如何做到鱼与熊掌兼得

兼得也就是:在比较少的参数量的情况下得到较低的Loss
下面主要是对比:

为什么网络更深比网络更宽会更好

获得分段的function,分的段越多,得到的函数就越接近真实的

分段+常数+一些分段函数的sum

如何制造阶梯型的function

  • sigmoid function

每个neuron产生一个阶梯型的function

只要有足够多的neuron,就可以产生任何形状的piecewis function

ReLU

为什么我们要深层网络,而不是扩展网络的宽度

网络越深,错误率越低

同样的参数量的时候,把一层的结点数变多,不如把网络变深

在产生同样的function的时候,矮胖的网络比高瘦的网络需要更多的参数量

example

接入第二层

接入第三层

  • Deep:(2^k个线段)一层2个neuron,总共三层,总共6个neuron
  • Shallow:(2^k个线段)只一层,一个neuron只能产生一个线段,2^k个线段就需要2^k个neuron

exponentially:需要多的参数量的意思

相关推荐
kngines16 分钟前
【字节跳动】数据挖掘面试题0007:Kmeans原理,何时停止迭代
人工智能·数据挖掘·kmeans
Kali_0719 分钟前
使用 Mathematical_Expression 从零开始实现数学题目的作答小游戏【可复制代码】
java·人工智能·免费
贾全25 分钟前
第十章:HIL-SERL 真实机器人训练实战
人工智能·深度学习·算法·机器学习·机器人
每日摸鱼大王31 分钟前
互联网摸鱼日报(2025-07-01)
人工智能
GIS小天40 分钟前
AI+预测3D新模型百十个定位预测+胆码预测+去和尾2025年7月4日第128弹
人工智能·算法·机器学习·彩票
我是小哪吒2.01 小时前
书籍推荐-《对抗机器学习:攻击面、防御机制与人工智能中的学习理论》
人工智能·深度学习·学习·机器学习·ai·语言模型·大模型
慕婉03071 小时前
深度学习前置知识全面解析:从机器学习到深度学习的进阶之路
人工智能·深度学习·机器学习
荔枝吻2 小时前
【AI总结】Git vs GitHub vs GitLab:深度解析三者联系与核心区别
人工智能·git·github
Jamie201901062 小时前
高档宠物食品对宠物的健康益处有哪些?
大数据·人工智能
云卓SKYDROID2 小时前
无人机载重模块技术要点分析
人工智能·无人机·科普·高科技·云卓科技