LlamaFactory微调Qwen3-0.6B大模型实验整理——调一个人物领域专属的模型

目标:

构建一个轻量但专业的人物领域问答/推理模型

🚀 阶段一:SFT(监督微调)
步骤一 :构造人物领域问题集

这些问题可以来自公开资料、专业文献、论坛、教材等。

人物数据数量:168条

实验一 :只加垂类数据集看看效果

GRADIO_SERVER_PORT=8103 CUDA_VISIBLE_DEVICES=1,2,5,7 llamafactory-cli train

--stage sft

--do_train

--model_name_or_path /workspace/codes/deepseek/Qwen3-0.6B

--dataset person

--eval_dataset train_eval

--dataset_dir ./data

--template qwen

--finetuning_type lora

--output_dir ./saves/Qwen3-0.6B/lora/sft_person_1

--overwrite_cache

--overwrite_output_dir

--cutoff_len 1024

--preprocessing_num_workers 16

--per_device_train_batch_size 1

--per_device_eval_batch_size 1

--gradient_accumulation_steps 16

--lr_scheduler_type cosine

--logging_steps 10

--warmup_steps 10

--save_steps 100

--eval_steps 100

--save_strategy steps

--eval_strategy steps

--load_best_model_at_end

--learning_rate 5e-6

--num_train_epochs 30

--lora_rank 64

--lora_alpha 128

--val_size 0

--plot_loss

--fp16

相关推荐
前端若水13 小时前
【无标题】
java·人工智能·python·机器学习
数字供应链安全产品选型13 小时前
数字供应链安全治理体系研究:从软件供应链到AI原生安全的演进与实践
人工智能·安全·ai-native
iDao技术魔方13 小时前
GEO 生成式引擎优化完全指南:让你的内容成为 AI 的默认答案
人工智能
HIT_Weston13 小时前
87、【Agent】【OpenCode】read 工具提示词
人工智能·agent·opencode
墨北小七13 小时前
使用火山引擎 HiAgent 构建工业级设备智能运维智能体
运维·人工智能·火山引擎
晚霞的不甘13 小时前
CANN-ATB加速库:Transformer推理性能密码
人工智能·深度学习·transformer
创世宇图13 小时前
【AI入门知识点】Function Calling 是什么?为什么 AI 开始会“调用工具”了?
人工智能·ai·llm·functioncalling
微软技术栈13 小时前
Microsoft AI Genius 4.0 | 使用 GitHub Copilot SDK 升级开发者体验
人工智能·microsoft·github
吃好睡好便好13 小时前
在Matlab中绘制阶梯图
开发语言·人工智能·学习·算法·机器学习·matlab