深度学习知识点总结

关于bn层

mean,std 第i个元素就是第i个通道上全部batch张输出特征图所有元素的平均值和方差,所shape就是特征图shape
可学习参数 weight和bias分别对应 γ,β.有bn时cov可以不用bia

在训练过程中,mean和std是统计得到的,然后在迭代过程中动态累加,m*si-1+(1-m)*si,m为历史保留比,对应pytorch的momenta参数,test过程中使用训练过程的统计结果

关于计算量(FLOPs)和参数量(Params)

flops :乘加次数,计算量对应时间复杂度

例如:
f l o p s c o v = h ∗ w ∗ k 2 ∗ c i n ∗ c o u t f l o p s d o w n s a m p l e = 0 f l o p s f c = w e i g h t i n ∗ w e i g h t o u t flops_{cov} = h*w*k^2*c_{in}*c_{out}\newline flops_{downsample} = 0\newline flops_{fc} = weight_{in}*weight_{out} flopscov=h∗w∗k2∗cin∗coutflopsdownsample=0flopsfc=weightin∗weightout
params :参数量对应于我们之前的空间复杂度,参数量影响显存
p a r a m s c o v = k 2 ∗ c i n ∗ c o u t p a r a m s d o w n s a m p l e = 0 p a r a m s f c = w e i g h t i n ∗ w e i g h t o u t params_{cov} = k^2*c_{in}*c_{out}\newline params_{downsample} = 0\newline params_{fc} = weight_{in}*weight_{out} paramscov=k2∗cin∗coutparamsdownsample=0paramsfc=weightin∗weightout
显存=模型自身的参数(params)+模型计算产生的中间变量(memory)

相关推荐
Yann-企业信息化几秒前
AI 开发工具对比:Dify 与 Coze Studio(开源版)差异对比
人工智能·开源
2401_836900335 分钟前
YOLOv4:集大成的目标检测王者
人工智能·yolov4
Xi xi xi8 分钟前
苏州唯理科技近期也正式发布了国内首款神经腕带产品
大数据·人工智能·经验分享·科技
www.028 分钟前
微信克隆人,聊天记录训练专属AI(2.WeClone训练模型)
人工智能·python·微信·聊天克隆人·微信克隆人
熊猫钓鱼>_>22 分钟前
基于知识图谱的智能会议纪要系统:从语音识别到深度理解
人工智能·语音识别·知识图谱
拓端研究室1 小时前
专题:2025年游戏科技的AI革新研究报告:全球市场趋势研究报告|附130+份报告PDF、数据仪表盘汇总下载
人工智能
CSTechEi2 小时前
【SPIE/EI/Scopus检索】2026 年第三届数据挖掘与自然语言处理国际会议 (DMNLP 2026)
人工智能·自然语言处理·数据挖掘
GJGCY2 小时前
技术剖析:智能体工作流与RPA流程自动化的架构差异与融合实现
人工智能·经验分享·ai·自动化·rpa
UMI赋能企业2 小时前
制造业流程自动化提升生产力的全面分析
大数据·人工智能
说私域2 小时前
“开源AI大模型AI智能名片S2B2C商城小程序”视角下的教育用户策略研究
人工智能·小程序