大模型学习笔记06------模型训练
1、目标函数
三类语言模型的目标函数：
- decoder-only（GPT-3）：计算单向上下文embedding，一次生成一个token
- encoder-only（BERT）：计算双向上下文embedding
- encoder-decoder（T5）：编码输入，解码输出
2、优化算法
- 随机梯度下降
- Adam
- AdaFactor
- 混合精度训练
- 学习率
- 初始化
注
笔记原始内容地址：添加链接描述
大模型学习笔记06——模型训练
等风来随风飘2024-01-20 13:09
相关推荐
宵时待雨8 分钟前
STM32笔记归纳9：定时器m0_7190841130 分钟前
React笔记张天禹Ziky学习记录44 分钟前
从零到实战：React Router 学习与总结sensen_kiss1 小时前
INT303 Coursework1 爬取影视网站数据（如何爬虫网站数据）red_redemption2 小时前
自由学习记录（116）r i c k3 小时前
数据库系统学习笔记野犬寒鸦3 小时前
从零起步学习JVM || 第一章：类加载器与双亲委派机制模型详解shandianchengzi4 小时前
【小白向】错位排列｜图文解释公考常见题目错位排列的递推式Dn=(n-1)(Dn-2+Dn-1)推导方式浅念-4 小时前
C语言编译与链接全流程：从源码到可执行程序的幕后之旅ZH15455891314 小时前
Flutter for OpenHarmony Python学习助手实战：API接口开发的实现