LlamaFactory微调Qwen3-0.6B大模型实验整理——调一个人物领域专属的模型

目标:

构建一个轻量但专业的人物领域问答/推理模型

🚀 阶段一:SFT(监督微调)
步骤一 :构造人物领域问题集

这些问题可以来自公开资料、专业文献、论坛、教材等。

人物数据数量:168条

实验一 :只加垂类数据集看看效果

GRADIO_SERVER_PORT=8103 CUDA_VISIBLE_DEVICES=1,2,5,7 llamafactory-cli train

--stage sft

--do_train

--model_name_or_path /workspace/codes/deepseek/Qwen3-0.6B

--dataset person

--eval_dataset train_eval

--dataset_dir ./data

--template qwen

--finetuning_type lora

--output_dir ./saves/Qwen3-0.6B/lora/sft_person_1

--overwrite_cache

--overwrite_output_dir

--cutoff_len 1024

--preprocessing_num_workers 16

--per_device_train_batch_size 1

--per_device_eval_batch_size 1

--gradient_accumulation_steps 16

--lr_scheduler_type cosine

--logging_steps 10

--warmup_steps 10

--save_steps 100

--eval_steps 100

--save_strategy steps

--eval_strategy steps

--load_best_model_at_end

--learning_rate 5e-6

--num_train_epochs 30

--lora_rank 64

--lora_alpha 128

--val_size 0

--plot_loss

--fp16

相关推荐
cooldream20092 分钟前
AI 时代,前端工程师的“新学习路线“—— 从“学框架“到“用 AI“
前端·人工智能·学习
艾斯特_12 分钟前
Function Calling与工具调用:让模型从回答走向执行
人工智能·python·算法·ai
道影子12 分钟前
阴阳引力多维基元:超越二进制的计算革命
人工智能·深度学习·微服务·云原生·架构
zhoupenghui16814 分钟前
大模型核心技术ReAct和Agentic RAG讲解
人工智能·ai·大模型·react·rag·动态推理·agentic rag
学习中.........17 分钟前
从 Karpathy 手写 BPE 到 CS336 `train_bpe` 作业实现
人工智能·机器学习·语言模型·自然语言处理
无忧智库17 分钟前
产业数字化平台建设方案:从单点工厂改造到城市产业生态的全景落地指南(PPT)
大数据·人工智能
wuhanzhanhui21 分钟前
轻盈的力量:2026 武汉国际发泡材料技术工业展览会,重构未来工业的“呼吸感”
大数据·人工智能
Ai_easygo22 分钟前
多Agent数据分析报告自动化实战:用CrewAI组支AI团队,丢份数据就出报告(从架构到评估)
人工智能·数据分析·自动化