RAFT微调学习笔记

参考:https://zhuanlan.zhihu.com/p/688757352

1、什么是RAFT

2、与普通Fine-tuning的区别

3、训练数据样式

复制代码
Question: 公司2023年的净利润是多少?
Retrieved Docs: [文档段落1, 文档段落2, ...]
Answer: 公司2023年净利润为3.2亿元。

4、训练数据是如何构造的

1.1 对于一个pdf,先把pdf切分成chunk,也就是产生多个doc。

1.2 利用chatgpt4为每一个doc,生成多个query

1.3 根据query和doc,来生成相关的思维链式的答案

**1.4 除了增加相关的doc到训练的promt外,还随机从全量的doc中,**以一定的概率p进行下面的操作。

p:添加相关的doc到context来+4个随机的doc。

1-p:不添加相关的doc到context,只有4个随机的doc

相关推荐
橙河网络21 小时前
橙河网络:国外问卷调查答题全过程
经验分享·笔记·课程设计
困死了111121 小时前
PostgreSQL笔记
数据库·笔记·postgresql
YJlio21 小时前
ProcessExplorer_17.09_x64-Chs 新版本升级:我看到的区别与优势(含升级思路与注意点)
人工智能·笔记·学习
-木槿昔年-21 小时前
【米尔-安路MYD-YM90X创意秀】飞龙派学习和PS串口实践
学习·fpga开发
不会聊天真君6471 天前
CSS3(Web前端开发笔记第二期)
前端·笔记·css3
车载测试工程师1 天前
CAPL学习-SOME/IP交互层-符号数据库访问类函数
学习·tcp/ip·以太网·capl·canoe
xqqxqxxq1 天前
Java 集合框架之线性表(List)实现技术笔记
java·笔记·python
暗然而日章1 天前
C++基础:Stanford CS106L学习笔记 13 特殊成员函数(SMFs)
c++·笔记·学习
小智RE0-走在路上1 天前
Python学习笔记(6)--列表,元组,字符串,序列切片
笔记·python·学习