常见的几种迁移学习的方式的介绍 & Batch Normalization的原理介绍

1.使用迁移学习的优势:(1).能够快速的训练出一个比较理想的结果;(2).在数据集很小的时候也能训练出不错的结果。

2.需要注意的点:在使用预训练模型参数时,需要尽量保持和之前这个模型训练时数据的预处理方式保持一致,否则可能达不到想要的效果。

3.常见的几种迁移学习的方式:(1)载入预训练模型后训练所有参数;(2)载入权重后只训练最后几层全连接层的参数;(3)载入模型后,在原网络的基础上再加一层全连接层,只训练加的这个全连接层。这3种方式中,第2种是对设备要求最低,也是训练最快的,但是第一种方法能达到的的效果是最好的。

4. Batch Normalization: 它是google团队在2015年论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出的。通过该方法能够加速网络的收敛并提升准确率。一般来说,在图像预处理时,会采用标准化处理,但是随着网络的不断深入,feature map便不再满足均值为0,方差为1了,这时候就需要使用batch normalization了。这个方法第一次火是在resnet模型中运用,具体的原理建议移步一位大佬的博客:Batch normalization原理讲解

相关推荐
学步_技术2 分钟前
自动驾驶系列—线控悬架技术:自动驾驶背后的动力学掌控者
人工智能·机器学习·自动驾驶·线控系统·悬挂系统
DogDaoDao1 小时前
【预备理论知识——2】深度学习:线性代数概述
人工智能·深度学习·线性代数
牛哥带你学代码1 小时前
交叠型双重差分法
人工智能·深度学习·机器学习
学步_技术1 小时前
自动驾驶系列—线控系统:驱动自动驾驶的核心技术解读与应用指南
人工智能·机器学习·自动驾驶·线控系统·转向系统
jmoych1 小时前
AI正悄然地影响着企业数字化转型
人工智能
说私域1 小时前
社群团购中的用户黏性价值:以开源小程序多商户AI智能名片商城源码为例
人工智能·小程序
quaer2 小时前
Open-Sora全面开源?
开发语言·算法·机器学习·matlab·矩阵
深度学习实战训练营2 小时前
基于keras的停车场车位识别
人工智能·深度学习·keras
乔代码嘚2 小时前
AI2.0时代,普通小白如何通过AI月入30万
人工智能·stable diffusion·aigc
墨@#≯2 小时前
机器学习系列篇章0 --- 人工智能&机器学习相关概念梳理
人工智能·经验分享·机器学习