服务器LLama Factory Lora 微调模型过程记录

连接远程服务器

1、把训练需要的文件移动到服务端

bash 复制代码
scp wangfei@10.30.71.37:/Users/wangfei/Documents/code/python/smart_home_agent_v1/training/sft_train.json /home/ubuntu/lingzhi/wangf36_temp 

2、查看显卡占用情况

bash 复制代码
nvidia-smi

尴尬,有人在用

看看别人在干啥吧

js 复制代码
ps -fp 596080
ps -fp 596081
ps -fp 596082
ps -fp 596083

估计也在训练,只能等等了

查看dataset数据

json 复制代码
"smart_home_sft": {
    "file_name": "sft_train.json",
    "formatting": "sharegpt"
  }

把文件移动到data目录下面

bash 复制代码
mv /home/ubuntu/lingzhi/wangf36_temp/sft_train.json /home/ubuntu/lingzhi/LLaMA-Factory/data

查看训练文件

yaml 复制代码
### model
model_name_or_path: /home/ubuntu/lingzhi/base_model/Qwen3-4B-Instruct-2507
trust_remote_code: true

### method
stage: sft
do_train: true
finetuning_type: lora
lora_target: all

### lora config
lora_rank: 32
lora_alpha: 64
lora_dropout: 0.05

### dataset
dataset: smart_home_sft
dataset_dir: data
template: qwen
cutoff_len: 2048
overwrite_cache: true
preprocessing_num_workers: 8

### output
output_dir: saves/smart_home_lora_1
logging_steps: 5
save_steps: 50
plot_loss: true
overwrite_output_dir: true

### train
per_device_train_batch_size: 8
gradient_accumulation_steps: 2
learning_rate: 3.0e-4
num_train_epochs: 5.0
max_grad_norm: 1.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true

### distributed (4x H20)
ddp_timeout: 180000000
flash_attn: fa2

### eval
val_size: 0.1
per_device_eval_batch_size: 8
eval_strategy: steps
eval_steps: 50

开始训练

bash 复制代码
conda activate llama_factory
bash 复制代码
llamafactory-cli train /home/ubuntu/lingzhi/LLaMA-Factory/examples/train_lora/llama_factory_config.yaml
bash 复制代码
llamafactory-cli train examples/train_lora/llama_factory_config.yaml

合并lora权重

bash 复制代码
llamafactory-cli export \
  --model_name_or_path /home/ubuntu/lingzhi/base_model/Qwen3-4B-Instruct-2507 \
  --adapter_name_or_path /home/ubuntu/lingzhi/LLaMA-Factory/saves/smart_home_lora_1 \
  --finetuning_type lora \
  --export_dir /home/ubuntu/lingzhi/trained_models_real/smart_home_model_260422

使用vllm启动模型的api服务

bash 复制代码
python -m vllm.entrypoints.openai.api_server \
  --model /home/ubuntu/lingzhi/trained_models_real/smart_home_model_260422 \
  --host 0.0.0.0 \
  --port 8000 \
  --trust-remote-code \
  --served-model-name smart_home\
  --enable-auto-tool-choice \
  --tool-call-parser hermes 

本地测试

bash 复制代码
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "smart_home",
    "messages": [{"role": "user", "content": "打开客厅灯"}]
  }'

远程测试

bash 复制代码
curl http://172.21.12.16:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "smart_home",
    "messages": [{"role": "user", "content": "打开客厅灯"}]
  }'
js 复制代码
(llama_factory) ubuntu@VM-12-16-ubuntu:~/lingzhi/base_model/Qwen3-4B-Instruct-2507$ pwd
/home/ubuntu/lingzhi/base_model/Qwen3-4B-Instruct-2507
相关推荐
Dawson Zhu7 小时前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
Csvn19 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
YIAN21 小时前
从 LangChain 到 DeepAgents:手把手拆解 createAgent、Middleware 与复杂 Agent
javascript·langchain·deepseek
大模型真好玩1 天前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
Dawson Zhu1 天前
【模型量化⑤】Weight-Only INT4:AWQ与GPTQ两大算法深度解析
人工智能·语言模型·架构·aigc·agi
JonaHu1 天前
GPT Image 2.6 多语言海报改版:保留商品细节,分离文案与图像验收
图像处理·人工智能·aigc
羲云网络1 天前
GPT Image 2.6 精准编辑前,先排查参考图的访问权限与输入交接
图像处理·人工智能·aigc
ZhengEnCi1 天前
Claude 的记忆是怎么设计的:四层记忆栈,和一场叫「做梦」的离线整理
aigc·agent·ai编程
小虎AI生活2 天前
哇塞~24小时开机的WorkBuddy免费领,速来
aigc·ai编程
Csvn2 天前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent