【大模型】llama-factory基础学习

前言：LLaMA-Factory项目的目标是整合主流的各种高效训练微调技术，适配市场主流开源模型，形成一个功能丰富，适配性好的训练框架。

1. 前期准备

下载源码：https://github.com/hiyouga/LLaMA-Factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

2. 原始模型直接推理

只需要配置template和model_name_or_path。

终端运行：

CUDA_VISIBLE_DEVICES=0 llamafactory-cli webchat \  
    --model_name_or_path /media/codingma/LLM/llama3/Meta-Llama-3-8B-Instruct \  
    --template llama3

运行完可以在本地服务器访问：http://localhost:7860/

3. 自定义数据集

llama-factory支持json格式文件，自定义数据集中每条数据格式如下：

{

"prompt": "介绍一下苹果",

"response": "苹果公司（Apple Inc.），是一家美国跨国科技公司，总部位于加利福尼亚州库比蒂诺。"

}

将文件放到llama factory项目下的data文件夹，然后编辑data_info.json文件，添加数据集映射：

 "demo": {
    "file_name": "demo.json",
    "file_sha1":dwfewcevrvff
    "columns": {
      "prompt": "prompt",
      "response": "response"
    }

demo是映射后使用的数据集别名，file_name是数据集路径，file_sha1不是必需的，但是可以缓存预处理后的数据集，避免二次训练时重新预处理，sha1的生成可以通过终端运行shasum -a 1 filename（linux命令），columns是json文件中的列名映射

4. 模型训练

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
    --stage sft \  
    --do_train \  
    --model_name_or_path /media/codingma/LLM/llama3/Meta-Llama-3-8B-Instruct \  
    --dataset alpaca_gpt4_zh \  
    --dataset_dir ./data \  
    --template llama3 \  
    --finetuning_type lora \  
    --lora_target q_proj,v_proj \  
    --output_dir ./saves/LLaMA3-8B/lora/sft \  
    --overwrite_cache \  
    --overwrite_output_dir \  
    --cutoff_len 1024 \  
    --preprocessing_num_workers 16 \  
    --per_device_train_batch_size 2 \  
    --per_device_eval_batch_size 1 \  
    --gradient_accumulation_steps 8 \  
    --lr_scheduler_type cosine \  
    --logging_steps 50 \  
    --warmup_steps 20 \  
    --save_steps 100 \  
    --eval_steps 50 \  
    --evaluation_strategy steps \  
    --load_best_model_at_end \  
    --learning_rate 5e-5 \  
    --num_train_epochs 5.0 \  
    --max_samples 1000 \  
    --val_size 0.1 \  
    --plot_loss \  
    --fp16
    --logging_dir path_to_logging_directory

一些重要参数解读：

stage: 训练方式，pt，sft等
model_name_or_path：基础模型的路径
dataset：数据集名称，data_info.json中的
template：模板，在readme.md中可以找到对应的模型模板
finetuning_type：微调方式，一般选lora
output_dir：存储模型路径
logging_dir：日志路径

5. 模型合并并导出

训练后得到的模型不能直接使用，需要和基础模型合并后导出：

CUDA_VISIBLE_DEVICES=0 python src/export_model.py \
    --model_name_or_path qwen/Qwen-7B \
    --adapter_name_or_path /mnt/workspace/llama_factory_demo/qwen/lora/sft/checkpoint-50 \
    --template qwen \
    --finetuning_type lora \
    --export_dir /mnt/workspace/merge_w/qwen \
    --export_legacy_format False

model_name_or_path: 基础模型路径
adapter_name_or_path：训练后的模型路径
template：模板
finetuning_type：微调方式
export_dir：导出模型路径