大模型学习笔记06------模型训练
1、目标函数
三类语言模型的目标函数：
- decoder-only（GPT-3）：计算单向上下文embedding，一次生成一个token
- encoder-only（BERT）：计算双向上下文embedding
- encoder-decoder（T5）：编码输入，解码输出
2、优化算法
- 随机梯度下降
- Adam
- AdaFactor
- 混合精度训练
- 学习率
- 初始化
注
笔记原始内容地址：添加链接描述
大模型学习笔记06——模型训练
等风来随风飘2024-01-20 13:09
相关推荐
li星野7 小时前
打工人日报#20251231孙严Pay7 小时前
分享三种不同的支付体验，各自有着不同的特点与适用场景。YJlio7 小时前
VolumeID 学习笔记（13.10）：卷序列号修改与资产标识管理实战weixin_440730507 小时前
java数组整理笔记小龙7 小时前
【学习笔记】多标签交叉熵损失的原理知识分享小能手8 小时前
Ubuntu入门学习教程，从入门到精通，Ubuntu 22.04的Linux网络配置(14）手揽回忆怎么睡8 小时前
Streamlit学习实战教程级，一个交互式的机器学习实验平台！xiaoxiaoxiaolll9 小时前
《Advanced Materials》基于MXene的复合纤维实现智能纺织品多模态功能集成db_murphy10 小时前
学习篇 | 英方i2Active和i2Stream工具了解强子感冒了10 小时前
Java学习笔记：String、StringBuilder与StringBuffer