【NLP 58、利用trl框架训练LLM】

孤独总比忍受傻逼好得多

------ 25.4.11

源代码网页:

项目文件预览 - trl:Train transformer language models with reinforcement learning. - GitCode

TRL ------ 变压器强化学习

trl:一个用于后训练基础模型的全面库

1.概述

TRL 是一个利用监督微调(SFT)、近端策略优化(PPO)和直接偏好优化(DPO)等先进技术后训练基础模型的尖端库。构建在 🤗 Transformers 生态系统之上,TRL 支持多种模型架构和模态,并且可以跨各种硬件配置进行扩展。


2.特色

Ⅰ、高效且可拓展

  • 利用 🤗 Accelerate 实现从单 GPU 到多节点集群的扩展,采用 DDP 和 DeepSpeed 等方法。
  • 与 PEFT 完全集成,通过 量化 和 LoRA/QLoRA 在普通硬件上训练大型模型。
  • 集成 Unsloth 以使用优化核心加速训练。

Ⅱ、命令行界面(CLI)

一个简单的界面让您能够在不编写代码的情况下微调并与模型交互。

Ⅲ、训练器

通过如 SFTTrainer、DPOTrainer、RewardTrainer、ORPOTrainer 等训练器轻松访问各种微调方法。

Ⅳ、自动模型

使用预定义的模型类如 AutoModelForCausalLMWithValueHead 来简化与大型语言模型(LLM)的强化学习(RL)。


3.安装

Ⅰ、Python 包

使用 pip 安装该库:

python 复制代码
pip3 install trl

使用国产源下载:

python 复制代码
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple trl

Ⅱ、从源代码安装

python 复制代码
pip3 install git+https://github.com/huggingface/trl.git

Ⅲ、仓库

python 复制代码
git clone https://github.com/huggingface/trl.git

4.命令行界面(CLI)

使用 TRL命令行界面(CLI)快速入门监督微调(SFT)和直接偏好优化(DPO),或者使用聊天CLI来检测你的模型表现

网址: 命令行界面 (CLI)

Ⅰ、SFT

复制代码
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
    --dataset_name trl-lib/Capybara \
    --output_dir Qwen2.5-0.5B-SFT

Ⅱ、数据保护官

复制代码
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name argilla/Capybara-Preferences \
    --output_dir Qwen2.5-0.5B-DPO 

Ⅲ、聊天

复制代码
trl chat --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct

详细了解,请点击上文的**《网址》**,查看相关文档部分


5.使用方法

为了提供更多灵活性和对训练过程的控制,TRL 提供了专门的训练器类,用于在自定义数据集上对语言模型或 PEFT 适配器进行后训练 。TRL 中的每个训练器都是 🤗 Transformers 训练器的轻量级封装,并原生支持分布式训练方法,如 DDP、DeepSpeed ZeRO 和 FSDP。

Ⅰ、SFTTrainer

python 复制代码
from trl import SFTConfig, SFTTrainer
from datasets import load_dataset

dataset = load_dataset("trl-lib/Capybara", split="train")

training_args = SFTConfig(output_dir="Qwen/Qwen2.5-0.5B-SFT")
trainer = SFTTrainer(
    args=training_args,
    model="Qwen/Qwen2.5-0.5B",
    train_dataset=dataset,
)
trainer.train()

Ⅱ、奖励训练器使用基础示例

python 复制代码
from trl import RewardConfig, RewardTrainer
from datasets import load_dataset
from transformers import AutoModelForSequenceClassification, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
model = AutoModelForSequenceClassification.from_pretrained(
    "Qwen/Qwen2.5-0.5B-Instruct", num_labels=1
)
model.config.pad_token_id = tokenizer.pad_token_id

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

training_args = RewardConfig(output_dir="Qwen2.5-0.5B-Reward", per_device_train_batch_size=2)
trainer = RewardTrainer(
    args=training_args,
    model=model,
    processing_class=tokenizer,
    train_dataset=dataset,
)
trainer.train()

Ⅲ、GRPOTrainer

GRPOTrainer 实现了群组相对策略优化(GRPO)算法,该算法相较于PPO在内存效率上更优,并被用于训练Deepseek AI的R1。

python 复制代码
from datasets import load_dataset
from trl import GRPOConfig, GRPOTrainer

dataset = load_dataset("trl-lib/tldr", split="train")

# Dummy reward function: rewards completions that are close to 20 characters
def reward_len(completions, **kwargs):
    return [-abs(20 - len(completion)) for completion in completions]

training_args = GRPOConfig(output_dir="Qwen2-0.5B-GRPO", logging_steps=10)
trainer = GRPOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=reward_len,
    args=training_args,
    train_dataset=dataset,
)
trainer.train()

Ⅳ、DPOTrainer

DPOTrainer实现了广受欢迎的直接偏好优化(DPO)算法,该算法被用于对Llama 3以及其他众多模型进行后训练。

python 复制代码
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer
from trl import DPOConfig, DPOTrainer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
training_args = DPOConfig(output_dir="Qwen2.5-0.5B-DPO")
trainer = DPOTrainer(model=model, args=training_args, train_dataset=dataset, processing_class=tokenizer)
trainer.train()
相关推荐
VIP_CQCRE4 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷5 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我5 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁015 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
β添砖java6 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
Csvn6 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄7 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下7 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码7 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下8 小时前
langgraph 全栈项目(二)
前端·人工智能·后端