技术栈
大模型学习笔记06——模型训练
等风来随风飘
2024-01-20 13:09
大模型学习笔记06------模型训练
1、目标函数
三类语言模型的目标函数:
decoder-only(GPT-3):计算单向上下文embedding,一次生成一个token
encoder-only(BERT):计算双向上下文embedding
encoder-decoder(T5):编码输入,解码输出
2、优化算法
随机梯度下降
Adam
AdaFactor
混合精度训练
学习率
初始化
注
笔记原始内容地址:
添加链接描述
笔记
学习
上一篇:
WhaleQuant第二章——金融市场的基本概念
下一篇:
el-image的preview-src-list图片预览总是从第一张的问题
相关推荐
希和2027
5 小时前
江科大 51 单片机笔记:DS18B20 温度传感器 + LCD1602 显示代码详解
笔记
·
单片机
·
mongodb
电科_银尘
8 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能
·
深度学习
·
学习
Sakura_j_h_
9 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言
·
笔记
·
python
·
qt
·
ai工具
·
mcp
·
mcpserver
QuZhengRong
9 小时前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python
·
学习
·
ai
·
agent
·
沙箱
前进的李工
12 小时前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能
·
笔记
·
agent
·
openclaw
·
工具设计
·
gpt-6 astra
·
原生异步
承渊政道
14 小时前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python
·
学习
·
pycharm
·
django
诗句藏于尽头
15 小时前
游戏《完美神话》-使用Ai-agent进行修复已停服游戏到本地成功部署以及GM端网页完整教程
人工智能
·
学习
·
游戏
希和2027
15 小时前
51 单片机学习笔记:LCD1602、独立按键、I2C 与 AT24C02 掉电存储(江科大课程小白笔记)
笔记
·
单片机
·
学习
北风toto
16 小时前
Spring Boot 常用注解 · 概要笔记
spring boot
·
笔记
·
后端
承渊政道
16 小时前
【Python编程—从入门到实践】(设置样式并部署:给Django网站换新装,把学习笔记发布到互联网)
python
·
学习
·
pycharm
·
django
热门推荐
01
国内可直接用、免费额度/永久免费的大模型API清单(含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等)
02
历年考研数学一、数学二、数学三真题试卷及答案PDF
03
几个好用的ip纯净度检测网站
04
微信历史版本含下载地址( Windows PC | 安卓 | MAC )及设置微信不更新
05
GitHub 镜像站点
06
昇腾910B系列芯片完全指南:四款型号对比、服务器选型与大模型部署实战
07
蜘蛛磁力 搜索引擎大全,如何使用蜘蛛磁力查找磁力链接
08
苹果iPA游戏软件资源下载网站
09
如何新建文件夹? 电脑新建文件夹的4种方法
10
Dify:一站式AI应用开发平台全解析与Windows部署指南