RAFT微调学习笔记

参考:https://zhuanlan.zhihu.com/p/688757352

1、什么是RAFT

2、与普通Fine-tuning的区别

3、训练数据样式

复制代码
Question: 公司2023年的净利润是多少?
Retrieved Docs: [文档段落1, 文档段落2, ...]
Answer: 公司2023年净利润为3.2亿元。

4、训练数据是如何构造的

1.1 对于一个pdf,先把pdf切分成chunk,也就是产生多个doc。

1.2 利用chatgpt4为每一个doc,生成多个query

1.3 根据query和doc,来生成相关的思维链式的答案

**1.4 除了增加相关的doc到训练的promt外,还随机从全量的doc中,**以一定的概率p进行下面的操作。

p:添加相关的doc到context来+4个随机的doc。

1-p:不添加相关的doc到context,只有4个随机的doc

相关推荐
阿宁又菜又爱玩1 小时前
MySQL基础学习
数据库·学习·mysql
qq_571099351 小时前
学习周报二十四
学习
零匠学堂20251 小时前
移动学习平台与在线学习平台是什么?主要有哪些功能?
java·spring boot·学习
风123456789~1 小时前
【健康管理】第5章 流行病学、医学统计学 1/2
笔记·考证·健康管理
李小星同志2 小时前
HTTM: Head-wise Temporal Token Merging for Faster VGGT论文学习
学习
喜欢吃燃面2 小时前
算法竞赛中的堆
c++·学习·算法
closejudge3 小时前
部署siyuan笔记docker问题记录
笔记
摇滚侠3 小时前
零基础小白自学Git_Github教程,GitHubDeskTop安装,笔记10
笔记·git·github
摇滚侠3 小时前
零基础小白自学 Git_Github 教程,GitHub 是如何工作的,笔记08
笔记·git·github
自然语3 小时前
人工智能之数字生命-学习的过程
数据结构·人工智能·深度学习·学习·算法