【NLP 58、利用trl框架训练LLM】

孤独总比忍受傻逼好得多

------ 25.4.11

源代码网页:

项目文件预览 - trl:Train transformer language models with reinforcement learning. - GitCode

TRL ------ 变压器强化学习

trl:一个用于后训练基础模型的全面库

1.概述

TRL 是一个利用监督微调(SFT)、近端策略优化(PPO)和直接偏好优化(DPO)等先进技术后训练基础模型的尖端库。构建在 🤗 Transformers 生态系统之上,TRL 支持多种模型架构和模态,并且可以跨各种硬件配置进行扩展。


2.特色

Ⅰ、高效且可拓展

  • 利用 🤗 Accelerate 实现从单 GPU 到多节点集群的扩展,采用 DDP 和 DeepSpeed 等方法。
  • PEFT 完全集成,通过 量化 和 LoRA/QLoRA 在普通硬件上训练大型模型。
  • 集成 Unsloth 以使用优化核心加速训练。

Ⅱ、命令行界面(CLI)

一个简单的界面让您能够在不编写代码的情况下微调并与模型交互。

Ⅲ、训练器

通过如 SFTTrainerDPOTrainerRewardTrainerORPOTrainer 等训练器轻松访问各种微调方法。

Ⅳ、自动模型

使用预定义的模型类如 AutoModelForCausalLMWithValueHead 来简化与大型语言模型(LLM)的强化学习(RL)。


3.安装

Ⅰ、Python 包

使用 pip 安装该库:

python 复制代码
pip3 install trl

使用国产源下载:

python 复制代码
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple trl

Ⅱ、从源代码安装

python 复制代码
pip3 install git+https://github.com/huggingface/trl.git

Ⅲ、仓库

python 复制代码
git clone https://github.com/huggingface/trl.git

4.命令行界面(CLI)

使用 TRL命令行界面(CLI)快速入门监督微调(SFT)和直接偏好优化(DPO),或者使用聊天CLI来检测你的模型表现

网址: 命令行界面 (CLI)

Ⅰ、SFT

复制代码
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
    --dataset_name trl-lib/Capybara \
    --output_dir Qwen2.5-0.5B-SFT

Ⅱ、数据保护官

复制代码
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name argilla/Capybara-Preferences \
    --output_dir Qwen2.5-0.5B-DPO 

Ⅲ、聊天

复制代码
trl chat --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct

详细了解,请点击上文的**《网址》**,查看相关文档部分


5.使用方法

为了提供更多灵活性和对训练过程的控制,TRL 提供了专门的训练器类,用于在自定义数据集上对语言模型或 PEFT 适配器进行后训练 。TRL 中的每个训练器都是 🤗 Transformers 训练器的轻量级封装,并原生支持分布式训练方法,如 DDP、DeepSpeed ZeRO 和 FSDP。

Ⅰ、SFTTrainer

python 复制代码
from trl import SFTConfig, SFTTrainer
from datasets import load_dataset

dataset = load_dataset("trl-lib/Capybara", split="train")

training_args = SFTConfig(output_dir="Qwen/Qwen2.5-0.5B-SFT")
trainer = SFTTrainer(
    args=training_args,
    model="Qwen/Qwen2.5-0.5B",
    train_dataset=dataset,
)
trainer.train()

Ⅱ、奖励训练器使用基础示例

python 复制代码
from trl import RewardConfig, RewardTrainer
from datasets import load_dataset
from transformers import AutoModelForSequenceClassification, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
model = AutoModelForSequenceClassification.from_pretrained(
    "Qwen/Qwen2.5-0.5B-Instruct", num_labels=1
)
model.config.pad_token_id = tokenizer.pad_token_id

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

training_args = RewardConfig(output_dir="Qwen2.5-0.5B-Reward", per_device_train_batch_size=2)
trainer = RewardTrainer(
    args=training_args,
    model=model,
    processing_class=tokenizer,
    train_dataset=dataset,
)
trainer.train()

Ⅲ、GRPOTrainer

GRPOTrainer 实现了群组相对策略优化(GRPO)算法该算法相较于PPO在内存效率上更优,并被用于训练Deepseek AI的R1

python 复制代码
from datasets import load_dataset
from trl import GRPOConfig, GRPOTrainer

dataset = load_dataset("trl-lib/tldr", split="train")

# Dummy reward function: rewards completions that are close to 20 characters
def reward_len(completions, **kwargs):
    return [-abs(20 - len(completion)) for completion in completions]

training_args = GRPOConfig(output_dir="Qwen2-0.5B-GRPO", logging_steps=10)
trainer = GRPOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=reward_len,
    args=training_args,
    train_dataset=dataset,
)
trainer.train()

Ⅳ、DPOTrainer

DPOTrainer实现了广受欢迎的直接偏好优化(DPO)算法,该算法被用于对Llama 3以及其他众多模型进行后训练。

python 复制代码
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer
from trl import DPOConfig, DPOTrainer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
training_args = DPOConfig(output_dir="Qwen2.5-0.5B-DPO")
trainer = DPOTrainer(model=model, args=training_args, train_dataset=dataset, processing_class=tokenizer)
trainer.train()
相关推荐
子燕若水2 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室3 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿3 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫3 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
伍哥的传说3 小时前
React 各颜色转换方法、颜色值换算工具HEX、RGB/RGBA、HSL/HSLA、HSV、CMYK
深度学习·神经网络·react.js
大千AI助手3 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记3 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元4 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术4 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端