llama-factory微调chatglm3

一、定义

  1. 案例/多卡

二、实现

  1. 案例
    1. 下载chatglm3-6b-32k模型
    2. 配置数据集
  2. 微调指令
bash 复制代码
CUDA_VISIBLE_DEVICES=0,1 llamafactory-cli train \
    --stage sft \
    --do_train True \
    --model_name_or_path /home/chatglm3-6b-32k \
    --finetuning_type lora \
    --template chatglm3 \
    --dataset_dir ./data \
    --dataset adgen_local \
    --cutoff_len 1024 \
    --learning_rate 5e-05 \
    --num_train_epochs 3.0 \
    --max_samples 1000 \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 8 \
    --lr_scheduler_type cosine \
    --max_grad_norm 1.0 \
    --logging_steps 5 \
    --save_steps 100 \
    --warmup_steps 0 \
    --optim adamw_torch \
    --output_dir saves/ChatGLM3-6B/lora/sft \
    --fp16 True \
    --lora_rank 8 \
    --lora_alpha 16 \
    --lora_dropout 0.1 \
    --lora_target query_key_value \
    --plot_loss True
  1. 推理
bash 复制代码
CUDA_VISIBLE_DEVICES=0 llamafactory-cli chat \
    --model_name_or_path /home/chatglm3-6b-32k \
    --adapter_name_or_path ./saves/ChatGLM3-6B/lora/sft  \
    --template chatglm3 \
    --finetuning_type lora
  1. 合并并导出
bash 复制代码
CUDA_VISIBLE_DEVICES=0 llamafactory-cli export \
    --model_name_or_path /home/chatglm3-6b-32k \
    --adapter_name_or_path ./saves/ChatGLM3-6B/lora/sft  \
    --template chatglm3 \
    --finetuning_type lora \
    --export_dir megred-model-chatglm3 \
    --export_size 2 \
    --export_device auto \
    --export_legacy_format False
相关推荐
凯子坚持 c19 分钟前
从 0 到 1:ComfyUI AI 工作流抠图构建全实践
大数据·人工智能
背太阳的牧羊人1 小时前
OpenAI Embedding 和密集检索(如 BERT/DPR)进行语义相似度搜索有什么区别和联系
人工智能·bert·embedding
光与电子KOYUELEC加油奋斗2 小时前
Molex莫仕连接器:增强高级驾驶辅助系统,打造更安全的汽车
人工智能·光与电子
__lost4 小时前
MATLAB画出3d的常见复杂有机分子和矿物的分子结构
开发语言·人工智能·matlab·化学·分子结构
每天都要写算法(努力版)4 小时前
【神经网络与深度学习】五折交叉验证(5-Fold Cross-Validation)
人工智能·深度学习·神经网络
郭不耐5 小时前
DeepSeek智能时空数据分析(六):大模型NL2SQL绘制城市之间连线
人工智能·数据分析·时序数据库·数据可视化·deepseek
winfredzhang6 小时前
Deepseek 生成新玩法:从文本到可下载 Word 文档?思路与实践
人工智能·word·deepseek
KY_chenzhao6 小时前
ChatGPT与DeepSeek在科研论文撰写中的整体科研流程与案例解析
人工智能·机器学习·chatgpt·论文·科研·deepseek
不爱吃于先生6 小时前
生成对抗网络(Generative Adversarial Nets,GAN)
人工智能·神经网络·生成对抗网络
cxr8287 小时前
基于Playwright的浏览器自动化MCP服务
人工智能·自动化·大语言模型·mcp