使用 LLaMA-Factory 微调

复制代码
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .
pip install tf-keras

dataset_info.json\](dataset_info.json) 包含了所有可用的数据集。如果您希望使用自定义数据集,请\*\*务必\*\*在 \`dataset_info.json\` 文件中添加\*数据集描述\*,并通过修改 \`dataset: 数据集名称\` 配置来使用数据集。 目前我们支持 \*\*alpaca\*\* 格式和 \*\*sharegpt\*\* 格式的数据集。 \`\`\`json "数据集名称": { "hf_hub_url": "Hugging Face 的数据集仓库地址(若指定,则忽略 script_url 和 file_name)", "ms_hub_url": "ModelScope 的数据集仓库地址(若指定,则忽略 script_url 和 file_name)", "script_url": "包含数据加载脚本的本地文件夹名称(若指定,则忽略 file_name)", "file_name": "该目录下数据集文件夹或文件的名称(若上述参数未指定,则此项必需)", "formatting": "数据集格式(可选,默认:alpaca,可以为 alpaca 或 sharegpt)", "ranking": "是否为偏好数据集(可选,默认:False)", "subset": "数据集子集的名称(可选,默认:None)", "split": "所使用的数据集切分(可选,默认:train)", "folder": "Hugging Face 仓库的文件夹名称(可选,默认:None)", "num_samples": "该数据集所使用的样本数量。(可选,默认:None)", "columns(可选)": { "prompt": "数据集代表提示词的表头名称(默认:instruction)", "query": "数据集代表请求的表头名称(默认:input)", "response": "数据集代表回答的表头名称(默认:output)", "history": "数据集代表历史对话的表头名称(默认:None)", "messages": "数据集代表消息列表的表头名称(默认:conversations)", "system": "数据集代表系统提示的表头名称(默认:None)", "tools": "数据集代表工具描述的表头名称(默认:None)", "images": "数据集代表图像输入的表头名称(默认:None)", "videos": "数据集代表视频输入的表头名称(默认:None)", "chosen": "数据集代表更优回答的表头名称(默认:None)", "rejected": "数据集代表更差回答的表头名称(默认:None)", "kto_tag": "数据集代表 KTO 标签的表头名称(默认:None)" }, "tags(可选,用于 sharegpt 格式)": { "role_tag": "消息中代表发送者身份的键名(默认:from)", "content_tag": "消息中代表文本内容的键名(默认:value)", "user_tag": "消息中代表用户的 role_tag(默认:human)", "assistant_tag": "消息中代表助手的 role_tag(默认:gpt)", "observation_tag": "消息中代表工具返回结果的 role_tag(默认:observation)", "function_tag": "消息中代表工具调用的 role_tag(默认:function_call)", "system_tag": "消息中代表系统提示的 role_tag(默认:system,会覆盖 system column)" } } \`\`\` ## Alpaca 格式 ### 指令监督微调数据集 SFT - \[样例数据集\](alpaca_zh_demo.json) 在指令监督微调时,\`instruction\` 列对应的内容会与 \`input\` 列对应的内容拼接后作为人类指令,即人类指令为 \`instruction\\ninput\`。而 \`output\` 列对应的内容为模型回答。 如果指定,\`system\` 列对应的内容将被作为系统提示词。 \`history\` 列是由多个字符串二元组构成的列表,分别代表历史消息中每轮对话的指令和回答。注意在指令监督微调时,历史消息中的回答内容\*\*也会被用于模型学习\*\*。 \`\`\`json \[ { "instruction": "人类指令(必填)", "input": "人类输入(选填)", "output": "模型回答(必填)", "system": "系统提示词(选填)", "history": \[ \["第一轮指令(选填)", "第一轮回答(选填)"\], \["第二轮指令(选填)", "第二轮回答(选填)"

]

}

]

```

对于上述格式的数据,`dataset_info.json` 中的*数据集描述*应为:

```json

"数据集名称": {

"file_name": "data.json",

"columns": {

"prompt": "instruction",

"query": "input",

"response": "output",

"system": "system",

"history": "history"

}

}

```

预训练数据集 CPT

  • 样例数据集\](c4_demo.json)

```json

{"text": "document"}, {"text": "document"}

```

对于上述格式的数据,`dataset_info.json` 中的*数据集描述*应为:

```json

"数据集名称": {

"file_name": "data.json",

"columns": {

"prompt": "text"

}

}

```

偏好数据集 DPO

偏好数据集用于奖励模型训练、DPO 训练、ORPO 训练和 SimPO 训练。

它需要在 `chosen` 列中提供更优的回答,并在 `rejected` 列中提供更差的回答。

```json

{ "instruction": "人类指令(必填)", "input": "人类输入(选填)", "chosen": "优质回答(必填)", "rejected": "劣质回答(必填)" }

```

对于上述格式的数据,`dataset_info.json` 中的*数据集描述*应为:

```json

"数据集名称": {

"file_name": "data.json",

"ranking": true,

"columns": {

"prompt": "instruction",

"query": "input",

"chosen": "chosen",

"rejected": "rejected"

}

}

```

KTO 数据集

KTO 数据集需要提供额外的 `kto_tag` 列。详情请参阅 [sharegpt](#sharegpt-格式)。

多模态图像数据集

多模态图像数据集需要提供额外的 `images` 列。详情请参阅 [sharegpt](#sharegpt-格式)。

多模态视频数据集

多模态视频数据集需要提供额外的 `videos` 列。详情请参阅 [sharegpt](#sharegpt-格式)。

Sharegpt 格式

指令监督微调数据集 SFT

  • 样例数据集\](glaive_toolcall_zh_demo.json)

注意其中 human 和 observation 必须出现在奇数位置,gpt 和 function 必须出现在偶数位置。

```json

{ "conversations": \[ { "from": "human", "value": "人类指令" }, { "from": "function_call", "value": "工具参数" }, { "from": "observation", "value": "工具结果" }, { "from": "gpt", "value": "模型回答" } \], "system": "系统提示词(选填)", "tools": "工具描述(选填)" }

```

对于上述格式的数据,`dataset_info.json` 中的*数据集描述*应为:

```json

"数据集名称": {

"file_name": "data.json",

"formatting": "sharegpt",

"columns": {

"messages": "conversations",

"system": "system",

"tools": "tools"

}

}

```

预训练数据集 CPT

尚不支持,请使用 [alpaca](#alpaca-格式) 格式。

偏好数据集

  • 样例数据集\](dpo_zh_demo.json)

```json

{ "conversations": \[ { "from": "human", "value": "人类指令" }, { "from": "gpt", "value": "模型回答" }, { "from": "human", "value": "人类指令" } \], "chosen": { "from": "gpt", "value": "优质回答" }, "rejected": { "from": "gpt", "value": "劣质回答" } }

```

对于上述格式的数据,`dataset_info.json` 中的*数据集描述*应为:

```json

"数据集名称": {

"file_name": "data.json",

"formatting": "sharegpt",

"ranking": true,

"columns": {

"messages": "conversations",

"chosen": "chosen",

"rejected": "rejected"

}

}

```

KTO 数据集

  • 样例数据集\](kto_en_demo.json)

```json

{ "conversations": \[ { "from": "human", "value": "人类指令" }, { "from": "gpt", "value": "模型回答" } \], "kto_tag": "人类反馈 \[true/false\](必填)" }

```

对于上述格式的数据,`dataset_info.json` 中的*数据集描述*应为:

```json

"数据集名称": {

"file_name": "data.json",

"formatting": "sharegpt",

"columns": {

"messages": "conversations",

"kto_tag": "kto_tag"

}

}

```

多模态图像数据集

  • 样例数据集\](mllm_demo.json)

注意图片的数量必须与文本中所有 `<image>` 标记的数量严格一致。

```json

{ "conversations": \[ { "from": "human", "value": "\人类指令" }, { "from": "gpt", "value": "模型回答" } \], "images": \[ "图像路径(必填)"

}

]

```

对于上述格式的数据,`dataset_info.json` 中的*数据集描述*应为:

```json

"数据集名称": {

"file_name": "data.json",

"formatting": "sharegpt",

"columns": {

"messages": "conversations",

"images": "images"

}

}

```

多模态视频数据集

  • 样例数据集\](mllm_video_demo.json)

注意视频的数量必须与文本中所有 `<video>` 标记的数量严格一致。

```json

{ "conversations": \[ { "from": "human", "value": "\人类指令" }, { "from": "gpt", "value": "模型回答" } \], "videos": \[ "视频路径(必填)"

}

]

```

对于上述格式的数据,`dataset_info.json` 中的*数据集描述*应为:

```json

"数据集名称": {

"file_name": "data.json",

"formatting": "sharegpt",

"columns": {

"messages": "conversations",

"videos": "videos"

}

}

```

OpenAI 格式

OpenAI 格式仅仅是 sharegpt 格式的一种特殊情况,其中第一条消息可能是系统提示词。

```json

{ "messages": \[ { "role": "system", "content": "系统提示词(选填)" }, { "role": "user", "content": "人类指令" }, { "role": "assistant", "content": "模型回答" }

}

]

```

对于上述格式的数据,`dataset_info.json` 中的*数据集描述*应为:

```json

"数据集名称": {

"file_name": "data.json",

"formatting": "sharegpt",

"columns": {

"messages": "messages"

},

"tags": {

"role_tag": "role",

"content_tag": "content",

"user_tag": "user",

"assistant_tag": "assistant",

"system_tag": "system"

}

}

```

笔者这里建议先CPT >>>>SFT(通用领域+专业领域)>>>>DPO

相关推荐
北京地铁1号线几秒前
机器学习笔试选择题:题组2
人工智能·算法·机器学习
算家云23 分钟前
OpenAI秘密测试ChatGPT安全路由,情感对话触发GPT-5严格审查
人工智能·chatgpt·算家云·openai秘密测试安全路由·算家计算·租算力,就到算家云
新加坡内哥谈技术24 分钟前
OpenAI近日推出了一项名为 ChatGPT Pulse 的全新功能
人工智能·chatgpt
hunteritself25 分钟前
DeepSeek V3.1-Terminus、阿里 Qwen3-Max、ChatGPT Pulse 同周登场!| AI Weekly 9.22-9.28
人工智能·ios·chatgpt·语音识别·iphone
ai_xiaogui28 分钟前
ChatGPT开源模型发布!部署20B/120B AI模型实战指南
人工智能·chatgpt·20b 120b模型部署教程·本地部署chatgpt模型实战·高性能加速开源ai模型开发·开源模型windows配置方法
春末的南方城市28 分钟前
阿里开源视频修复方法Vivid-VR:以独特策略与架构革新,引领生成视频修复高质量可控新时代。
人工智能·深度学习·机器学习·计算机视觉·aigc
Juchecar39 分钟前
人工智能重塑人类生活范式
人工智能
FIT2CLOUD飞致云40 分钟前
飞致云开源社区月度动态报告(2025年9月)
人工智能·开源
量子位42 分钟前
宇树机器人被曝漏洞,机器人之间可相互感染,官方火速回应
人工智能·ai编程
chaofan9801 小时前
如何用 Claude Code 搭建安全、可测、可自动化的 GitHub CI 流程?
运维·人工智能·ci/cd·ai·自动化·github·claude