吴恩达机器学习笔记 二十一 迁移学习 预训练

迁移学习(transfer learning):直接把神经网络拿来,前面的参数可以直接用,把最后一层改了。

两种训练参数的方式:

1.只训练输出层的参数

2.训练所有参数

当只有一个小数据集的时候,第一种方法很好;若数据集稍微大一些的话第二个方法更好。

两个步骤:

监督预训练(supervised pretraining):在一个大数据集上训练,得到参数

微调(fine tuning):进一步训练,微调权重以适应具体的应用

迁移学习的另一个优点:可以直接用别人训练好的神经网络

迁移学习为什么有用? 例如图像识别来说,一个识别猫狗的神经网络的某些隐藏层可能是用来识别边界、识别线条,这些都是一些基本的操作,所以也可以直接用来识别手写数字。

相关推荐
希和20277 小时前
江科大 51 单片机笔记:DS18B20 温度传感器 + LCD1602 显示代码详解
笔记·单片机·mongodb
罗西的思考7 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考7 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
武子康9 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
XLYcmy11 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
Sakura_j_h_11 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver
前进的李工14 小时前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能·笔记·agent·openclaw·工具设计·gpt-6 astra·原生异步
在所不辞兄16 小时前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
希和202717 小时前
51 单片机学习笔记:LCD1602、独立按键、I2C 与 AT24C02 掉电存储(江科大课程小白笔记)
笔记·单片机·学习
北风toto18 小时前
Spring Boot 常用注解 · 概要笔记
spring boot·笔记·后端