常见的几种迁移学习的方式的介绍 & Batch Normalization的原理介绍

1.使用迁移学习的优势:(1).能够快速的训练出一个比较理想的结果;(2).在数据集很小的时候也能训练出不错的结果。

2.需要注意的点:在使用预训练模型参数时,需要尽量保持和之前这个模型训练时数据的预处理方式保持一致,否则可能达不到想要的效果。

3.常见的几种迁移学习的方式:(1)载入预训练模型后训练所有参数;(2)载入权重后只训练最后几层全连接层的参数;(3)载入模型后,在原网络的基础上再加一层全连接层,只训练加的这个全连接层。这3种方式中,第2种是对设备要求最低,也是训练最快的,但是第一种方法能达到的的效果是最好的。

4. Batch Normalization: 它是google团队在2015年论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出的。通过该方法能够加速网络的收敛并提升准确率。一般来说,在图像预处理时,会采用标准化处理,但是随着网络的不断深入,feature map便不再满足均值为0,方差为1了,这时候就需要使用batch normalization了。这个方法第一次火是在resnet模型中运用,具体的原理建议移步一位大佬的博客:Batch normalization原理讲解

相关推荐
阿杰学AI1 天前
AI核心知识116—大语言模型之 目标驱动的可控架构 (简洁且通俗易懂版)
人工智能·ai·语言模型·自然语言处理·aigc·机械学习·目标驱动的可控架构
落羽的落羽1 天前
【算法札记】练习 | Week1
linux·服务器·c++·人工智能·python·算法·机器学习
sp_fyf_20241 天前
【大语言模型】 是什么在驱动表示层操控?——关于操控模型拒绝机制的案例研究
人工智能·深度学习·机器学习·语言模型·自然语言处理
fpcc1 天前
并行编程实战——CUDA编程的图之六子图的创建
人工智能·cuda
Godspeed Zhao1 天前
具身智能中的传感器技术23——六维力/力矩传感器1
人工智能·科技·具身智能
weixin_446260851 天前
Archon - 让AI编码更高效、可重复的开源工具
人工智能·开源
AI科技星1 天前
基于v≡c第一性原理:密度的本质与时空动力学
人工智能·学习·算法·机器学习·数据挖掘
kishu_iOS&AI1 天前
机器学习 —— 聚类算法
人工智能·算法·机器学习·聚类
墨北小七1 天前
YOLO:为什么机器人的“眼睛”,非它莫属?
人工智能·深度学习·神经网络
guslegend1 天前
第8节:打造可配置,可扩展的自动化预处理流水线
人工智能·大模型·rag