大模型学习笔记06------模型训练
1、目标函数
三类语言模型的目标函数：
- decoder-only（GPT-3）：计算单向上下文embedding，一次生成一个token
- encoder-only（BERT）：计算双向上下文embedding
- encoder-decoder（T5）：编码输入，解码输出
2、优化算法
- 随机梯度下降
- Adam
- AdaFactor
- 混合精度训练
- 学习率
- 初始化
注
笔记原始内容地址：添加链接描述
大模型学习笔记06——模型训练
等风来随风飘2024-01-20 13:09
相关推荐
通信小呆呆4 天前
当算法有了“五感”：多模态数据融合如何向人体感官协同学习？H__Rick4 天前
自动对焦学习-3Daisy Lee4 天前
量化学习-第1章-什么是量化金融Alsn864 天前
等待学习-学习目录：Docker 容器安全攻防YM52e4 天前
买菜计算器小应用 - HarmonyOS ArkUI 开发实战-PC版本小雨下雨的雨4 天前
HarmonyOS ArkUI训练营入门-组件掌握系列-Animation 动画效果实现-PC版本闪闪发亮的小星星4 天前
高斯光以及高斯光公式解释cqbzcsq4 天前
CellFlow虚拟细胞论文阅读YangYang9YangYan4 天前
2026初入职场学习数据分析的价值阿米亚波4 天前
【Windows】QEMU 启动 openEuler aarch64/arm64 架构系统 + 离线软件源