迁移学习基础知识

简介

使用迁移学习的优势:

1、能够快速的训练出一个理想的结果

2、当数据集较小时也能训练出理想的效果。

注意:在使用别人预训练的参数模型时,要注意别人的预处理方式。

原理:

对于浅层的网络结构,他们学习到的角点信息和纹理信息都是通用的,将学习好的浅层网络的信息迁移到新的网络中,这样新的网络也拥有了识别底层通用特征的能力,从而能加快网络学习新的数据集的高维特征。

常见的迁移学习的方式:

1、载入权重后训练所有参数

2、载入权重后只训练最后基层参数

3、载入权重后在原网络基础上再添加一层全连接层,仅训练最后一个全连接层。

(设备有限且需要在很短时间内得到一个比较理想的结果使用第2或第3个方式;硬件设备不受限且希望得到一个最优的结果,使用第1种方式进行训练)

后续知识再接着补充。。。

相关推荐
智启七月5 分钟前
从 token 到向量:微信 CALM 模型颠覆大语言模型范式
人工智能·深度学习
Khunkin7 分钟前
基于几何直觉理解牛顿迭代法
机器学习
老纪的技术唠嗑局8 分钟前
AI 时代的数据库进化论 —— 从向量到混合检索
人工智能
Better Bench13 分钟前
【大模型RAG安全基准】安装和使用SafaRAG框架
网络·人工智能·安全·大模型·组件·rag
大千AI助手14 分钟前
差分隐私:机器学习和数据发布中的隐私守护神
人工智能·神经网络·机器学习·dp·隐私保护·差分隐私·大千ai助手
R-G-B15 分钟前
【P27 回归算法及应用实践】有监督的机器学习、分类与回归、一元线性回归、最小二乘法、多元回归与梯度下降、学习率
人工智能·回归·最小二乘法·梯度下降·一元线性回归·有监督的机器学习·分类与回归
程序员小赵同学16 分钟前
Spring AI Alibaba语音合成实战:从零开始实现文本转语音功能
人工智能·spring·语音识别
禁默24 分钟前
第四届图像处理、计算机视觉与机器学习国际学术会议(ICICML 2025)
图像处理·机器学习·计算机视觉
Dev7z26 分钟前
结合HOG特征与支持向量机(SVM)的车牌字符识别系统
人工智能·分类·数据挖掘
MaybeAI41 分钟前
Skill 与 Workflow:让自动化更“聪明”的系统架构
人工智能·ai·自动化·workflow·工作流