大模型学习笔记06------模型训练
1、目标函数
三类语言模型的目标函数：
- decoder-only（GPT-3）：计算单向上下文embedding，一次生成一个token
- encoder-only（BERT）：计算双向上下文embedding
- encoder-decoder（T5）：编码输入，解码输出
2、优化算法
- 随机梯度下降
- Adam
- AdaFactor
- 混合精度训练
- 学习率
- 初始化
注
笔记原始内容地址：添加链接描述
大模型学习笔记06——模型训练
等风来随风飘2024-01-20 13:09
相关推荐
其实防守也摸鱼6 分钟前
DeepSeek Harness 开源贡献手记：从 Issue 到 Merge 的完整旅程云杂项12 分钟前
Adversarial Neural Network Inversion via Auxiliary Knowledge Alignment（个人笔记）一隅论数智19 分钟前
给AI找对“富矿“：本体协同的六大应用模式与落地战法夏天的清晨24 分钟前
C++入门学习传奇开心果编程24 分钟前
【ArkUI进阶练中学】第18课：Agent亲和架构与应用智能化改造代码山河26 分钟前
Java的前世今生：从Oak语言到Java 23的发展史一木 之林28 分钟前
《OpenAI库基础学习总结：Client 初始化、流式输出 delta 拼接与多轮历史 messages 全流程拆解》m4Rk_32 分钟前
【论文阅读】Agent 记忆机制（90）：HyperMem——用超图建模长期记忆中的高阶关联糖炒栗子03261 小时前
深度学习笔记-FCN星恒随风1 小时前
Linux开发工具详解（二）：Git版本控制、GitHub协作与GDB调试实战