LlamaFactory微调Qwen3-0.6B大模型实验整理——调一个人物领域专属的模型

目标:

构建一个轻量但专业的人物领域问答/推理模型

🚀 阶段一:SFT(监督微调)
步骤一 :构造人物领域问题集

这些问题可以来自公开资料、专业文献、论坛、教材等。

人物数据数量:168条

实验一 :只加垂类数据集看看效果

GRADIO_SERVER_PORT=8103 CUDA_VISIBLE_DEVICES=1,2,5,7 llamafactory-cli train

--stage sft

--do_train

--model_name_or_path /workspace/codes/deepseek/Qwen3-0.6B

--dataset person

--eval_dataset train_eval

--dataset_dir ./data

--template qwen

--finetuning_type lora

--output_dir ./saves/Qwen3-0.6B/lora/sft_person_1

--overwrite_cache

--overwrite_output_dir

--cutoff_len 1024

--preprocessing_num_workers 16

--per_device_train_batch_size 1

--per_device_eval_batch_size 1

--gradient_accumulation_steps 16

--lr_scheduler_type cosine

--logging_steps 10

--warmup_steps 10

--save_steps 100

--eval_steps 100

--save_strategy steps

--eval_strategy steps

--load_best_model_at_end

--learning_rate 5e-6

--num_train_epochs 30

--lora_rank 64

--lora_alpha 128

--val_size 0

--plot_loss

--fp16

相关推荐
幻云20101 小时前
Next.js 之道:从入门到精通
前端·javascript·vue.js·人工智能·python
培根芝士2 小时前
把PP-OCRv5_server模型转换为OpenVINO格式
人工智能·openvino
方见华Richard2 小时前
《认知纪元宪章》V1.0-人类智能与人工智能联合签署
人工智能·经验分享·交互·原型模式·空间计算
财经科技2 小时前
安全测试观察:某类AI智能反诈通信业务的运行特征与潜在风险
大数据·人工智能·物联网
速易达网络2 小时前
AI发展全景:从模型到硬件的多层演进
人工智能
Jouham2 小时前
瞬维智能CEO刘哲先生受邀参加2025年火山引擎FORCE原动力大会
人工智能·火山引擎
kissgoodbye20122 小时前
发论文目标期刊
人工智能
Ro Jace2 小时前
AI全科研流程辅助:以信号处理领域为例
人工智能·信号处理
星爷AG I2 小时前
9-5 频率感知(AGI基础理论)
人工智能·agi