RAFT微调学习笔记

参考:https://zhuanlan.zhihu.com/p/688757352

1、什么是RAFT

2、与普通Fine-tuning的区别

3、训练数据样式

复制代码
Question: 公司2023年的净利润是多少?
Retrieved Docs: [文档段落1, 文档段落2, ...]
Answer: 公司2023年净利润为3.2亿元。

4、训练数据是如何构造的

1.1 对于一个pdf,先把pdf切分成chunk,也就是产生多个doc。

1.2 利用chatgpt4为每一个doc,生成多个query

1.3 根据query和doc,来生成相关的思维链式的答案

**1.4 除了增加相关的doc到训练的promt外,还随机从全量的doc中,**以一定的概率p进行下面的操作。

p:添加相关的doc到context来+4个随机的doc。

1-p:不添加相关的doc到context,只有4个随机的doc

相关推荐
tq10867 小时前
开放与封闭:类型系统的安全哲学
笔记
fanged7 小时前
总线学习3--SPI番外(TODO)
学习
龙仔7258 小时前
人大金仓 KingbaseES V8 只读账号创建完整运维笔记
运维·笔记·sql·人大金仓
韭菜炒鸡肝天8 小时前
VTK开发笔记(一):VTK介绍,Qt..+VSx+VTK.编译
开发语言·笔记·qt
ThsPool8 小时前
【遥感学习整理 02】ENVI遥感图像处理基础:从数据读取到遥感信息产品
图像处理·人工智能·学习
05664610 小时前
Python康复训练——常用标准库
开发语言·python·学习
05664610 小时前
Python康复训练——控制流与函数
开发语言·python·学习
峥无11 小时前
C++11 深度详解:现代 C++ 基石全梳理
开发语言·c++·笔记
阿米亚波11 小时前
【C++ STL】std::unordered_multimap
开发语言·数据结构·c++·笔记·stl
早睡早起身体好12312 小时前
为什么 Network 中会出现两个同名请求?——CORS 预检请求学习笔记
网络·笔记·学习·网络安全