常见的几种迁移学习的方式的介绍 & Batch Normalization的原理介绍

1.使用迁移学习的优势:(1).能够快速的训练出一个比较理想的结果;(2).在数据集很小的时候也能训练出不错的结果。

2.需要注意的点:在使用预训练模型参数时,需要尽量保持和之前这个模型训练时数据的预处理方式保持一致,否则可能达不到想要的效果。

3.常见的几种迁移学习的方式:(1)载入预训练模型后训练所有参数;(2)载入权重后只训练最后几层全连接层的参数;(3)载入模型后,在原网络的基础上再加一层全连接层,只训练加的这个全连接层。这3种方式中,第2种是对设备要求最低,也是训练最快的,但是第一种方法能达到的的效果是最好的。

4. Batch Normalization: 它是google团队在2015年论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出的。通过该方法能够加速网络的收敛并提升准确率。一般来说,在图像预处理时,会采用标准化处理,但是随着网络的不断深入,feature map便不再满足均值为0,方差为1了,这时候就需要使用batch normalization了。这个方法第一次火是在resnet模型中运用,具体的原理建议移步一位大佬的博客:Batch normalization原理讲解

相关推荐
带电的小王6 分钟前
VLA--Gemini Robotics On-Device: 将AI带到本地机器人设备上
人工智能·机器人
终端域名8 分钟前
如何解决人工智能在社会治理中面临的技术和伦理挑战?
人工智能·交互技术
倔强的石头10612 分钟前
[源力觉醒 创作者计划]_文心大模型4.5开源:从技术突破到生态共建的国产AI解读与本地部署指南
人工智能·开源·文心一言·文心大模型
AI训练师17 分钟前
基于深度学习的YOLO框架的道路裂缝智能识别系统【附完整源码+数据集】
人工智能
别摸我的婴儿肥17 分钟前
从0开始LLM-GPT-0
人工智能·深度学习
音视频牛哥18 分钟前
从 WAIC 2025 的火爆,看 AI 时代视频“入口层”的技术演进
人工智能·机器学习·计算机视觉
算家计算22 分钟前
单卡10分钟部署MiniCPM4-0.5B:轻量级大模型本地运行指南
人工智能·开源
魔障阿Q36 分钟前
华为310P3模型转换及python推理
人工智能·python·深度学习·yolo·计算机视觉·华为
洛华36341 分钟前
初识opencv05——图像预处理4
人工智能·opencv·计算机视觉
SugarPPig1 小时前
“非参数化”大语言模型与RAG的关系?
人工智能·语言模型·自然语言处理