LlamaFactory微调Qwen3-0.6B大模型实验整理——调一个人物领域专属的模型

目标:

构建一个轻量但专业的人物领域问答/推理模型

🚀 阶段一:SFT(监督微调)
步骤一 :构造人物领域问题集

这些问题可以来自公开资料、专业文献、论坛、教材等。

人物数据数量:168条

实验一 :只加垂类数据集看看效果

GRADIO_SERVER_PORT=8103 CUDA_VISIBLE_DEVICES=1,2,5,7 llamafactory-cli train

--stage sft

--do_train

--model_name_or_path /workspace/codes/deepseek/Qwen3-0.6B

--dataset person

--eval_dataset train_eval

--dataset_dir ./data

--template qwen

--finetuning_type lora

--output_dir ./saves/Qwen3-0.6B/lora/sft_person_1

--overwrite_cache

--overwrite_output_dir

--cutoff_len 1024

--preprocessing_num_workers 16

--per_device_train_batch_size 1

--per_device_eval_batch_size 1

--gradient_accumulation_steps 16

--lr_scheduler_type cosine

--logging_steps 10

--warmup_steps 10

--save_steps 100

--eval_steps 100

--save_strategy steps

--eval_strategy steps

--load_best_model_at_end

--learning_rate 5e-6

--num_train_epochs 30

--lora_rank 64

--lora_alpha 128

--val_size 0

--plot_loss

--fp16

相关推荐
一枕眠秋雨>o<3 小时前
调度的艺术:CANN Runtime如何编织昇腾AI的时空秩序
人工智能
晚烛4 小时前
CANN + 物理信息神经网络(PINNs):求解偏微分方程的新范式
javascript·人工智能·flutter·html·零售
爱吃烤鸡翅的酸菜鱼4 小时前
CANN ops-math向量运算与特殊函数实现解析
人工智能·aigc
波动几何4 小时前
OpenClaw 构建指南:打造智能多工具编排运行时框架
人工智能
程序猿追4 小时前
深度解码AI之魂:CANN Compiler 核心架构与技术演进
人工智能·架构
新缸中之脑4 小时前
Figma Make 提示工程
人工智能·figma
赫尔·普莱蒂科萨·帕塔4 小时前
智能体工程
人工智能·机器人·软件工程·agi
觉醒大王4 小时前
AI写的青基中了
人工智能·笔记·深度学习·学习·职场和发展·学习方法
深鱼~4 小时前
深度剖析ops-transformer:LayerNorm与GEMM的融合优化
人工智能·深度学习·transformer
哈__4 小时前
CANN图优化技术:深度学习模型的编译器魔法
人工智能·深度学习