RAFT微调学习笔记

参考:https://zhuanlan.zhihu.com/p/688757352

1、什么是RAFT

2、与普通Fine-tuning的区别

3、训练数据样式

复制代码
Question: 公司2023年的净利润是多少?
Retrieved Docs: [文档段落1, 文档段落2, ...]
Answer: 公司2023年净利润为3.2亿元。

4、训练数据是如何构造的

1.1 对于一个pdf,先把pdf切分成chunk,也就是产生多个doc。

1.2 利用chatgpt4为每一个doc,生成多个query

1.3 根据query和doc,来生成相关的思维链式的答案

**1.4 除了增加相关的doc到训练的promt外,还随机从全量的doc中,**以一定的概率p进行下面的操作。

p:添加相关的doc到context来+4个随机的doc。

1-p:不添加相关的doc到context,只有4个随机的doc

相关推荐
疯狂打码的少年10 小时前
【计算机网络】IP地址与子网划分(IP地址分类与特殊地址)
网络·笔记·tcp/ip·计算机网络
CappuccinoRose10 小时前
专项事件体系
前端·学习·网络状态·表单事件·剪贴板事件·拖放事件·页面可见性
bessyon10 小时前
从设备自购看医美机构的运营逻辑与竞争壁垒
笔记
(Charon)10 小时前
【Kafka】消息队列学习(一):为什么需要Kafka?从消息队列到整体架构
学习·架构·kafka
疯狂打码的少年11 小时前
【计算机网络】TCP协议(三次握手、可靠传输、流量控制)
网络·笔记·tcp/ip·计算机网络
AIGC大时代11 小时前
OpenAI Agents SDK 工程笔记:tool 调用循环、max_turns 与生产禁区
服务器·数据库·笔记·tool·max_turns·functiontool·生产禁区
传奇开心果编程11 小时前
【Rust入门知识点学与练】第26课:Unsafe Rust
开发语言·学习·rust
励志不掉头发的内向程序员11 小时前
【LibreCAD 2D架构】从 addHistory 到 RS_UndoCycle:LibreCAD 里的两套 History 与撤销机制
开发语言·c++·qt·学习·系统架构
`流年づ11 小时前
人工智能学习笔记 - 自动微分
人工智能·笔记·学习
那年窗外下的雪.11 小时前
AIDC 学习日志|第 24 天|设备输出反推与 MAC Flapping 定位
网络协议·学习·tcp/ip·http·macos·tcpdump