RAFT微调学习笔记

参考:https://zhuanlan.zhihu.com/p/688757352

1、什么是RAFT

2、与普通Fine-tuning的区别

3、训练数据样式

复制代码
Question: 公司2023年的净利润是多少?
Retrieved Docs: [文档段落1, 文档段落2, ...]
Answer: 公司2023年净利润为3.2亿元。

4、训练数据是如何构造的

1.1 对于一个pdf,先把pdf切分成chunk,也就是产生多个doc。

1.2 利用chatgpt4为每一个doc,生成多个query

1.3 根据query和doc,来生成相关的思维链式的答案

**1.4 除了增加相关的doc到训练的promt外,还随机从全量的doc中,**以一定的概率p进行下面的操作。

p:添加相关的doc到context来+4个随机的doc。

1-p:不添加相关的doc到context,只有4个随机的doc

相关推荐
观书喜夜长43 分钟前
大模型应用开发学习-基于 LangChain 框架实现的交互式问答脚本
python·学习
中屹指纹浏览器1 小时前
2026指纹浏览器性能瓶颈分析与优化技巧
经验分享·笔记
FPGA小迷弟1 小时前
FPGA 时序约束基础:从时钟定义到输入输出延迟的完整设置
前端·学习·fpga开发·verilog·fpga
雷工笔记2 小时前
随笔|走!跳楼去!
笔记
就叫飞六吧2 小时前
国产数据库gbase8s安装-网盘
笔记
炽烈小老头2 小时前
【每天学习一点算法 2026/03/22】前 K 个高频元素
学习·算法
神舟之光3 小时前
Java面向对象编程知识补充学习-2026.3.21
java·开发语言·学习
网络工程小王3 小时前
【大数据技术详解】——Kibana(学习笔记)
大数据·笔记·学习
im_AMBER3 小时前
Leetcode 144 位1的个数 | 只出现一次的数字
学习·算法·leetcode
red_redemption3 小时前
自由学习记录(144)
学习