大模型学习笔记06------模型训练
1、目标函数
三类语言模型的目标函数：
- decoder-only（GPT-3）：计算单向上下文embedding，一次生成一个token
- encoder-only（BERT）：计算双向上下文embedding
- encoder-decoder（T5）：编码输入，解码输出
2、优化算法
- 随机梯度下降
- Adam
- AdaFactor
- 混合精度训练
- 学习率
- 初始化
注
笔记原始内容地址：添加链接描述
大模型学习笔记06——模型训练
等风来随风飘2024-01-20 13:09
相关推荐
minglie133 分钟前
蚂蚁S9矿板PS 内核定时器驱动你想知道什么?41 分钟前
决策树-学习笔记MartinYeung51 小时前
[论文学习]WASP：面向提示注入攻击的Web代理安全性基准测试懒狗跑ai的程序员Brain1 小时前
如何利用粒子系统在unity制作一个烟花（粒子系统学习向）念何架构之路1 小时前
moby-BuildKit(builder-next)hongmai6668881 小时前
ESP32-C5-WROOM-1-N16R8：双频Wi-Fi 6与多协议融合，重新定义物联网连接新标准风曦Kisaki1 小时前
Kubernetes（K8s）笔记Day04：控制器（ReplicaSet 与Deployment），滚动更新及回滚，滚动更新策略，Pod 的 DNS 策略惠惠软件1 小时前
快速生成磁盘目录文件-双击运行a.bat ，可以看到磁盘目录下出现了 文件目录.txt-供大家学习研究参考星恒随风1 小时前
C++ STL 详解：set 与 multiset 的使用、区间查询和算法应用m4Rk_1 小时前
【论文阅读】Agent 记忆机制（20）：RecMem——只在信息反复出现时进行长期记忆巩固