在Ubuntu上用Llama Factory命令行微调Qwen2.5的简单过程

半年多之前写过一个教程:在Windows上用Llama Factory微调Llama 3的基本操作_llama-factory windows-CSDN博客

如果用命令行做的话,前面的步骤可以参考上面这个博客。安装好环境后, 用自我认知数据集微调Lora模块:data/identity.json,里面的格式也很好理解:

{

"instruction": "你是谁?",

"input": "",

"output": "您好,我是 { {name}},一个由 { {author}} 发明的人工智能助手。我可以回答各种问题,提供实用的建议和帮助,帮助用户完成各种任务。"

},

可以直接用VS Code将上面的name和author替换,另存为一个文件,并且在data/dataset_info.json增加这个,类似于我这里(另存的文件名为identity_tpri.json):

"identity_tpri": {

"file_name": "identity_tpri.json"

},

将文件examples/train_qlora/llama3_lora_sft_awq.yaml另存为一个文件并且重命名,然后配置对应一下已经下载下来的模型文件(顺便说一句,模型文件可以在:魔搭社区 这里下载,应该速度都很快),我这里是这样修改的(标红的是更新的内容,除了微调数据集和模型位置以及Lora模块位置,需要注意的就是num_train_epochs,之前默认的值是3,经过测试以后太小了):

model

model_name_or_path: /home/quyu/Qwen2.5-7B-Instruct/

trust_remote_code: true

method

stage: sft

do_train: true

finetuning_type: lora

lora_rank: 8

lora_target: all

dataset

dataset: identity_tpri

template: qwen

cutoff_len: 2048

max_samples: 1000

overwrite_cache: true

preprocessing_num_workers: 16

output

output_dir: saves/qwen-7b/lora/sft

logging_steps: 10

save_steps: 500

plot_loss: true

overwrite_output_dir: true

train

per_device_train_batch_size: 1

gradient_accumulation_steps: 8

learning_rate: 1.0e-4

num_train_epochs: 20.0

lr_scheduler_type: cosine

warmup_ratio: 0.1

bf16: true

ddp_timeout: 180000000

eval

val_size: 0.1

per_device_eval_batch_size: 1

eval_strategy: steps

eval_steps: 500

然后运行一下(重命名的文件是qwen_lora.yaml):

bash 复制代码
llamafactory-cli train examples/train_qlora/qwen_lora.yaml

如果显存不够可能会报错(例如训练32B的时候),这个我在后一篇博客里再总结。如果显存够,那么可以直接得到微调后的lora模块,我这里用两个3090训练只需要一分多钟。我们将examples/inference/llama3_lora_sft.yaml复制以后重命名,并且将其内容改为:

model_name_or_path: /home/quyu/Qwen2.5-7B-Instruct

adapter_name_or_path: saves/qwen-7b/lora/sft

template: qwen

infer_backend: huggingface # choices: [huggingface, vllm]

trust_remote_code: true

然后运行(重命名的文件是qwen2_lora.yaml,看自己喜好重命名即可):

bash 复制代码
llamafactory-cli chat examples/inference/qwen2_lora.yaml

然后再问大模型"你是谁?",就可以看到修改之后的效果了。

相关推荐
MYZR123 分钟前
瑞萨电子:嵌入式计算与芯片技术的创新引领者
人工智能·核心板·ssd2351
胡耀超29 分钟前
大模型架构演进全景:从Transformer到下一代智能系统的技术路径(MoE、Mamba/SSM、混合架构)
人工智能·深度学习·ai·架构·大模型·transformer·技术趋势分析
小杨勇敢飞1 小时前
UNBIASED WATERMARK:大语言模型的无偏差水印
人工智能·语言模型·自然语言处理
m0_603888711 小时前
Delta Activations A Representation for Finetuned Large Language Models
人工智能·ai·语言模型·自然语言处理·论文速览
金融小师妹2 小时前
基于哈塞特独立性表态的AI量化研究:美联储政策独立性的多维验证
大数据·人工智能·算法
qinyia2 小时前
Wisdom SSH 是一款创新性工具,通过集成 AI 助手,为服务器性能优化带来极大便利。
服务器·人工智能·ssh
昨日之日20065 小时前
Wan2.2-S2V - 音频驱动图像生成电影级质量的数字人视频 ComfyUI工作流 支持50系显卡 一键整合包下载
人工智能·音视频
SEO_juper7 小时前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
攻城狮7号8 小时前
腾讯混元翻译模型Hunyuan-MT-7B开源,先前拿了30个冠军
人工智能·hunyuan-mt-7b·腾讯混元翻译模型·30个冠军
zezexihaha8 小时前
从“帮写文案”到“管生活”:个人AI工具的边界在哪?
人工智能