大模型学习笔记06------模型训练
1、目标函数
三类语言模型的目标函数：
- decoder-only（GPT-3）：计算单向上下文embedding，一次生成一个token
- encoder-only（BERT）：计算双向上下文embedding
- encoder-decoder（T5）：编码输入，解码输出
2、优化算法
- 随机梯度下降
- Adam
- AdaFactor
- 混合精度训练
- 学习率
- 初始化
注
笔记原始内容地址：添加链接描述
大模型学习笔记06——模型训练
等风来随风飘2024-01-20 13:09
相关推荐
学长毕设8 分钟前
基于SpringBoot的青少年编程学习平台系统-附源码小小de风呀4 小时前
de风——【从零开始学习Linux】（九）：进程基础 —— 从冯诺依曼体系到 fork 创建进程李某学编程4 小时前
基于ARM的微机原理学习笔记（一）Song_RsHt5 小时前
Redis 与微服务，什么场景下无可替代sbjdhjd5 小时前
AI产业周度动态：从“更强模型”走向“可执行、可治理、可计价”的系统竞争 （2026年10月19日—10月25日）ss2736 小时前
AI时代首先数据库-PostgreSQL实战笔记 27 PostgreSQL数据写入与读取流程解析深圳老胡7 小时前
压力检测空吸功能硬件方案全解析：主流压力传感器品牌与实现路径程序猿追7 小时前
返回 null 不一定入队成功：鸿蒙 KMP上的并发优先队列观察笔记~kiss~7 小时前
PRO-LONG: Programmatic Memory Enables Long-Horizon Reasoning 程序式记忆赋能长程推理程序猿编码8 小时前
不依赖 vLLM/llama.cpp：一套面向学习的 DeepSeek-R1 CUDA 推理实现