python transformers笔记(TrainingArguments类)

TrainingArguments类

TrainingArguments是Hugging Face Transformers库中用于集中管理超参数和配置的核心类。它定义了模型训练、评估、保存和日志记录的所有关键参数,并通过Trainer类实现自动化训练流程。

1、核心功能

(1)统一管理训练配置:替代手动定义学习率、批次大小等分散的超参数

(2)自动化流程配置:控制训练、评估、保存、日志记录等行为的触发策略

(3)支持混合精度训练(FP16/BP16)、多GPU/TPU分布式训练、梯度积累等

2、关键参数

(1)基础训练配置

参数名 作用 示例 默认值
output_dir 模型和日志的保存路径 "./results" "tmp_trainer"
num_train_epochs 训练总轮次 3 3.0
per_device_train_batch_size 每个GPU/CPU的批次大小 16 8
per_device_eval_batch_size 评估时的批次大小 32 8
learning_rate 初始学习率 2e-5 5e-5
weight_decay 权重衰减(L2正则化)系数 0.01 0.0

(2)训练策略控制

参数名 作用 示例 默认值
gradient_accumulation_steps 梯度累积步数(模拟更大批次) 4 1
evaluation_strategy 评估触发策略:"epoch"/"steps"/"no" "epoch" "no"
save_strategy 模型保存策略(需要与evaluation_strategy一致) "epoch" "steps"
logging_strategy 日志记录策略 "steps" "steps"
logging_steps 每多少步记录一次日志(当logging_strategy="steps"时生效) 100 500
save_steps 每多少步保存一次模型 100 500
eval_steps 每多少步评估一次模型 100 None

(3)硬件与性能优化

参数名 作用 示例 默认值
fp16 是否启用FP16混合精度训练(NVIDIA GPU) True False
bf16 是否启用BF16混合精度训练(AMD/Intel GPU/TPU) False False
optim 优化器类型(如"adamw_torch"、"adafactor") "adamw_torch" "adamw_hf"
dataloader_num_workers 数据加载的线程数 4 0
gradient_checkpointing 是否启用梯度检查点(节省显存,但降低速度) False False

(4)模型保存或加载

参数名 作用 示例 默认值
save_total_limit 最大保存的检查点数量(旧的会被删除) 3 None
load_best_model_at_end 训练结束后是否加载最佳模型(需启用评估) True False
metric_for_best_model 用于选择最佳模型的指标(如"eval_loss"或自定义指标) "eval_accuracy" None
great_is_better 指标是否越大越好(需与metric_for_best_model配合) None None

(5)日志与监控

参数名 作用 示例 默认值
report_to 日志上报工具(如"tensorboard"、"wandb") ["tensorboard"]
logging_dir TensorBoard日志记录 "./logs"
disable_tqdm 是否禁用进度条 False
log_level 日志级别("debug"、"warning"、"info"等) "debug" "passive"

3、使用示例

python 复制代码
from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="./results",
    per_device_train_batch_size=8,
    per_device_eval_batch_size=16,
    num_train_epochs=3,
    evaluation_strategy="epoch",
    save_strategy="epoch",
    learning_rate=5e-5,
    weight_decay=0.01,
    fp16=True,
    load_best_model_at_end=True,
    metric_for_best_model="eval_loss",
    logging_dir="./logs",
    report_to=["tensorboard"],
)

4、高级用法

(1)自定义优化器和调度器

(2)动态参数调整

(3)超参数搜索

5、配置文件支持

python 复制代码
# 保存配置
training_args.save_to_json("./training_args.json")

# 加载配置
new_args = TrainingArguments.from_json_file("./training_args.json")

6、注意事项

(1)策略一致性

save_strategy和evaluation_strategy必须相同(除非设置为"no")

(2)混合精度选择

NVIDIA GPU用fp16,AMD/Intel GPU或TPU用bf16

(3)内存优化

遇到OOM错误时,减小per_device_train_batch_size或增加gradient_accumulation_steps。

相关推荐
nbsaas-boot1 小时前
Java 正则表达式白皮书:语法详解、工程实践与常用表达式库
开发语言·python·mysql
仗剑_走天涯1 小时前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习
chao_7891 小时前
二分查找篇——搜索旋转排序数组【LeetCode】两次二分查找
开发语言·数据结构·python·算法·leetcode
chao_7896 小时前
二分查找篇——搜索旋转排序数组【LeetCode】一次二分查找
数据结构·python·算法·leetcode·二分查找
烛阴6 小时前
Python装饰器解除:如何让被装饰的函数重获自由?
前端·python
noravinsc7 小时前
django 一个表中包括id和parentid,如何通过parentid找到全部父爷id
python·django·sqlite
ajassi20007 小时前
开源 python 应用 开发(三)python语法介绍
linux·python·开源·自动化
沉默媛7 小时前
如何安装python以及jupyter notebook
开发语言·python·jupyter
Deng9452013149 小时前
基于Python的旅游数据可视化应用
python·numpy·pandas·旅游·数据可视化技术
2401_878624799 小时前
pytorch 自动微分
人工智能·pytorch·python·机器学习