迁移学习基础知识

简介

使用迁移学习的优势:

1、能够快速的训练出一个理想的结果

2、当数据集较小时也能训练出理想的效果。

注意:在使用别人预训练的参数模型时,要注意别人的预处理方式。

原理:

对于浅层的网络结构,他们学习到的角点信息和纹理信息都是通用的,将学习好的浅层网络的信息迁移到新的网络中,这样新的网络也拥有了识别底层通用特征的能力,从而能加快网络学习新的数据集的高维特征。

常见的迁移学习的方式:

1、载入权重后训练所有参数

2、载入权重后只训练最后基层参数

3、载入权重后在原网络基础上再添加一层全连接层,仅训练最后一个全连接层。

(设备有限且需要在很短时间内得到一个比较理想的结果使用第2或第3个方式;硬件设备不受限且希望得到一个最优的结果,使用第1种方式进行训练)

后续知识再接着补充。。。

相关推荐
香菜+1 分钟前
端侧视频分析 · 架构笔记
人工智能
s1ckrain4 分钟前
【论文阅读】A Survey on Vision–Language–Action Models for Embodied AI
论文阅读·人工智能·多模态·具身智能
深圳雨林凯AI22 分钟前
图案裂变的“风格归一化“设计思路:主体保得住,画风才拉得齐|雨林凯AI技术笔记
人工智能·笔记
DevNo31 分钟前
英文会议转中文纪要,三款AI工具实测体验
人工智能
深小乐33 分钟前
AI 说话越来越难懂?Anthropic 员工都在用 ELI5 这个图解 Skill
人工智能
问天_观心36 分钟前
大模型微调学习(二)
人工智能·python·深度学习·学习·语言模型·transformer
甲维斯42 分钟前
我要吹爆GPT6了!实测3列惊为天人!
人工智能
pnoker1 小时前
IoT DC3 概念解读:把设备抽象成一套语义模板——位号、指令、事件与面向智能体的设备建模
java·人工智能·物联网·iot·dc3
Fnetlink11 小时前
Fnet 云网安 260904
网络·人工智能·安全·web安全·网络安全
ZGIAI1 小时前
Agent 越来越强,企业为什么反而更需要“运行层”?
人工智能·架构