LlamaFactory微调Qwen3-0.6B大模型实验整理——调一个人物领域专属的模型

目标:

构建一个轻量但专业的人物领域问答/推理模型

🚀 阶段一:SFT(监督微调)
步骤一 :构造人物领域问题集

这些问题可以来自公开资料、专业文献、论坛、教材等。

人物数据数量:168条

实验一 :只加垂类数据集看看效果

GRADIO_SERVER_PORT=8103 CUDA_VISIBLE_DEVICES=1,2,5,7 llamafactory-cli train

--stage sft

--do_train

--model_name_or_path /workspace/codes/deepseek/Qwen3-0.6B

--dataset person

--eval_dataset train_eval

--dataset_dir ./data

--template qwen

--finetuning_type lora

--output_dir ./saves/Qwen3-0.6B/lora/sft_person_1

--overwrite_cache

--overwrite_output_dir

--cutoff_len 1024

--preprocessing_num_workers 16

--per_device_train_batch_size 1

--per_device_eval_batch_size 1

--gradient_accumulation_steps 16

--lr_scheduler_type cosine

--logging_steps 10

--warmup_steps 10

--save_steps 100

--eval_steps 100

--save_strategy steps

--eval_strategy steps

--load_best_model_at_end

--learning_rate 5e-6

--num_train_epochs 30

--lora_rank 64

--lora_alpha 128

--val_size 0

--plot_loss

--fp16

相关推荐
科技拓维者2 小时前
短视频配音音效去哪里找比较好?短视频创作者音效指南
人工智能·音视频
cjy0001112 小时前
2026AI 产品如何从一次性 Demo 变成可重复使用的业务工具?
前端·人工智能·fde
大模型码小白2 小时前
AI大模型接入SDK:人工智能核心概念与发展史
大数据·运维·人工智能·安全·prompt
杀生丸学AI2 小时前
【动态重建】Flow4DGS-SLAM:基于光流引导的4DGS-SLAM算法
人工智能·三维重建·扩散模型·4dgs·动态重建
IT_陈寒2 小时前
React的状态更新坑得我差点加班到天亮
前端·人工智能·后端
腾视科技-AI2 小时前
腾视科技TS-NV-P200车载系列AI边缘算力盒子:引领车路协同新时代,赋能多元场景应用
人工智能·科技·ai·ai算力·ai边缘算力盒子·腾视科技·ai算力盒
147API2 小时前
知识更新频繁时,为什么先做RAG再决定是否蒸馏
人工智能
揽秀亭长2 小时前
论文降AI率哪个方法比较实用?4种方式实际对比
人工智能·深度学习
javaDocker2 小时前
电视台自建AI短视频生产线与算力底座:技术架构、关键实现与优化实践
人工智能·架构·音视频
工业HMI实战笔记2 小时前
未来已来:AR、VR与AI在下一代HMI中的展望
人工智能·ar·vr