李宏毅深度学习--如何做到鱼与熊掌兼得

兼得也就是:在比较少的参数量的情况下得到较低的Loss
下面主要是对比:

为什么网络更深比网络更宽会更好

获得分段的function,分的段越多,得到的函数就越接近真实的

分段+常数+一些分段函数的sum

如何制造阶梯型的function

  • sigmoid function

每个neuron产生一个阶梯型的function

只要有足够多的neuron,就可以产生任何形状的piecewis function

ReLU

为什么我们要深层网络,而不是扩展网络的宽度

网络越深,错误率越低

同样的参数量的时候,把一层的结点数变多,不如把网络变深

在产生同样的function的时候,矮胖的网络比高瘦的网络需要更多的参数量

example

接入第二层

接入第三层

  • Deep:(2^k个线段)一层2个neuron,总共三层,总共6个neuron
  • Shallow:(2^k个线段)只一层,一个neuron只能产生一个线段,2^k个线段就需要2^k个neuron

exponentially:需要多的参数量的意思

相关推荐
F_D_Z8 分钟前
【PyTorch】图像多分类项目部署
人工智能·pytorch·python·深度学习·分类
音视频牛哥2 小时前
打通视频到AI的第一公里:轻量RTSP服务如何重塑边缘感知入口?
人工智能·计算机视觉·音视频·大牛直播sdk·机器视觉·轻量级rtsp服务·ai人工智能
Wendy14413 小时前
【灰度实验】——图像预处理(OpenCV)
人工智能·opencv·计算机视觉
中杯可乐多加冰3 小时前
五大低代码平台横向深度测评:smardaten 2.0领衔AI原型设计
人工智能
无线图像传输研究探索3 小时前
单兵图传终端:移动场景中的 “实时感知神经”
网络·人工智能·5g·无线图传·5g单兵图传
zzywxc7874 小时前
AI在编程、测试、数据分析等领域的前沿应用(技术报告)
人工智能·深度学习·机器学习·数据挖掘·数据分析·自动化·ai编程
铭keny5 小时前
YOLOv8 基于RTSP流目标检测
人工智能·yolo·目标检测
墨尘游子5 小时前
11-大语言模型—Transformer 盖楼,BERT 装修,RoBERTa 直接 “拎包入住”|预训练白话指南
人工智能·语言模型·自然语言处理
金井PRATHAMA5 小时前
主要分布于内侧内嗅皮层的层Ⅲ的网格-速度联合细胞(Grid × Speed Conjunctive Cells)对NLP中的深层语义分析的积极影响和启示
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·知识图谱
天道哥哥5 小时前
InsightFace(RetinaFace + ArcFace)人脸识别项目(预训练模型,鲁棒性很好)
人工智能·目标检测