常见的几种迁移学习的方式的介绍 & Batch Normalization的原理介绍

1.使用迁移学习的优势:(1).能够快速的训练出一个比较理想的结果;(2).在数据集很小的时候也能训练出不错的结果。

2.需要注意的点:在使用预训练模型参数时,需要尽量保持和之前这个模型训练时数据的预处理方式保持一致,否则可能达不到想要的效果。

3.常见的几种迁移学习的方式:(1)载入预训练模型后训练所有参数;(2)载入权重后只训练最后几层全连接层的参数;(3)载入模型后,在原网络的基础上再加一层全连接层,只训练加的这个全连接层。这3种方式中,第2种是对设备要求最低,也是训练最快的,但是第一种方法能达到的的效果是最好的。

4. Batch Normalization: 它是google团队在2015年论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出的。通过该方法能够加速网络的收敛并提升准确率。一般来说,在图像预处理时,会采用标准化处理,但是随着网络的不断深入,feature map便不再满足均值为0,方差为1了,这时候就需要使用batch normalization了。这个方法第一次火是在resnet模型中运用,具体的原理建议移步一位大佬的博客:Batch normalization原理讲解

相关推荐
mmq在路上2 小时前
YOLO-World: Real-Time Open-Vocabulary Object Detection论文阅读
人工智能·计算机视觉·目标跟踪
萌萌可爱郭德纲2 小时前
基于AI智能算法的装备结构可靠性分析与优化设计技术专题
人工智能·机器学习·支持向量机·发动机·疲劳寿命
jiushun_suanli2 小时前
PyTorch CV模型实战全流程(二)
人工智能·pytorch·python
诺....2 小时前
机器学习库的决策树绘制
人工智能·决策树·机器学习
nju_spy2 小时前
NJU-SME 人工智能(三) -- 正则化 + 分类 + SVM
人工智能·机器学习·支持向量机·逻辑回归·对偶问题·正则化·auc-roc
咚咚王者2 小时前
人工智能之编程基础 Python 入门:第三章 基础语法
人工智能·python
深兰科技2 小时前
深兰科技入选“2025中国人工智能行业创新力企业百强”
人工智能·科技·百度·kafka·rabbitmq·memcached·深兰科技
柳鲲鹏3 小时前
全网首发:OpenCV防抖处理后,画面数据的存储及复制到原画面
人工智能·opencv·计算机视觉
nju_spy3 小时前
南京大学LLM开发基础(四)MoE, LoRA, 数的精度 + MLP层实验
人工智能·lora·大模型·混合精度·混合专家模型 moe·densemlp·门控机制