常见的几种迁移学习的方式的介绍 & Batch Normalization的原理介绍

1.使用迁移学习的优势:(1).能够快速的训练出一个比较理想的结果;(2).在数据集很小的时候也能训练出不错的结果。

2.需要注意的点:在使用预训练模型参数时,需要尽量保持和之前这个模型训练时数据的预处理方式保持一致,否则可能达不到想要的效果。

3.常见的几种迁移学习的方式:(1)载入预训练模型后训练所有参数;(2)载入权重后只训练最后几层全连接层的参数;(3)载入模型后,在原网络的基础上再加一层全连接层,只训练加的这个全连接层。这3种方式中,第2种是对设备要求最低,也是训练最快的,但是第一种方法能达到的的效果是最好的。

4. Batch Normalization: 它是google团队在2015年论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出的。通过该方法能够加速网络的收敛并提升准确率。一般来说,在图像预处理时,会采用标准化处理,但是随着网络的不断深入,feature map便不再满足均值为0,方差为1了,这时候就需要使用batch normalization了。这个方法第一次火是在resnet模型中运用,具体的原理建议移步一位大佬的博客:Batch normalization原理讲解

相关推荐
风象南3 小时前
普通人用AI加持赚到的第一个100块
人工智能·后端
牛奶3 小时前
2026年大模型怎么选?前端人实用对比
前端·人工智能·ai编程
牛奶3 小时前
前端人为什么要学AI?
前端·人工智能·ai编程
哥布林学者5 小时前
高光谱成像(一)高光谱图像
机器学习·高光谱成像
罗西的思考6 小时前
AI Agent框架探秘:拆解 OpenHands(10)--- Runtime
人工智能·算法·机器学习
冬奇Lab7 小时前
OpenClaw 源码精读(2):Channel & Routing——一条消息如何找到它的 Agent?
人工智能·开源·源码阅读
冬奇Lab7 小时前
一天一个开源项目(第38篇):Claude Code Telegram - 用 Telegram 远程用 Claude Code,随时随地聊项目
人工智能·开源·资讯
格砸8 小时前
从入门到辞职|从ChatGPT到OpenClaw,跟上智能时代的进化
前端·人工智能·后端
可观测性用观测云8 小时前
可观测性 4.0:教系统如何思考
人工智能
sunny8659 小时前
Claude Code 跨会话上下文恢复:从 8 次纠正到 0 次的工程实践
人工智能·开源·github