LLama-Factory使用教程-2025最新版

配套课程《AIGC大模型理论与工业落地实战》;Deepseek相关课程更新中

前置条件:一台可用的gpu服务器、ubuntu操作系统

  1. 下载LLama-Factory

1.1. 安装anaconda或者miniconda,创建环境

bash 复制代码
bash Miniconda3-latest-Linux-x86_64.sh
conda create -n sft python=3.11
conda activate sft

1.2. 下载安装LLama-Factory

bash 复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
  1. 启动LLama-Factory图形化界面
bash 复制代码
llamafactory-cli webui
  1. 打开图形化界面

访问http://127.0.0.1:7860;或者"服务器IP地址+7860端口"。例如这里的是:http://180.184.146.134:7860/;打开图形化界面

4.下载模型到本地

这里以Qwen2.5-vl-7b-instruct模型为例,因为服务器是国内,从魔塔下载模型参数:

bash 复制代码
pip install modelscope
modelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir /data2/users/yszhang/quickllm/qwen2.5-vl-instruct

执行上述指令后,模型参数被下载至:/data2/users/yszhang/quickllm/qwen2.5-vl-instruct文件夹:

bash 复制代码
(base) root@iv-ydg6wcq3ggay8n6dmn75:/data2/users/yszhang/quickllm/qwen2.5-vl-instruct# ll
total 16207084
drwxr-xr-x  3 root root       4096 May 13 09:36 ./
drwxr-xr-x 22 root root       4096 May 26 17:44 ../
drwxr-xr-x  3 root root       4096 May 12 16:36 .cache/
-rw-r--r--  1 root root       1050 May 12 16:36 chat_template.json
-rw-r--r--  1 root root       1374 May 12 16:36 config.json
-rw-r--r--  1 root root        216 May 12 16:36 generation_config.json
-rw-r--r--  1 root root       1519 May 12 16:39 .gitattributes
-rw-r--r--  1 root root    1671839 May 13 09:23 merges.txt
-rw-r--r--  1 root root 3900233256 May 13 09:31 model-00001-of-00005.safetensors
-rw-r--r--  1 root root 3864726320 May 13 09:36 model-00002-of-00005.safetensors
-rw-r--r--  1 root root 3864726424 May 12 17:22 model-00003-of-00005.safetensors
-rw-r--r--  1 root root 3864733680 May 13 09:31 model-00004-of-00005.safetensors
-rw-r--r--  1 root root 1089994880 May 13 09:26 model-00005-of-00005.safetensors
-rw-r--r--  1 root root      57619 May 12 16:36 model.safetensors.index.json
-rw-r--r--  1 root root        350 May 12 16:36 preprocessor_config.json
-rw-r--r--  1 root root      18574 May 12 16:36 README.md
-rw-r--r--  1 root root       5702 May 12 17:30 tokenizer_config.json
-rw-r--r--  1 root root    7031645 May 12 16:40 tokenizer.json
-rw-r--r--  1 root root    2776833 May 13 09:23 vocab.json
(base) root@iv-ydg6wcq3ggay8n6dmn75:/data2/users/yszhang/quickllm/qwen2.5-vl-instruct# 
  1. 配置模型和数据

在图形化UI界面设置模型名称、模型路径和数据集,这里我以LLama-Factory中自带的多模态数据集"mllm_demo"数据集为例:

可以选择预览数据集,预览数据结构:

可以选择预览命令查看模型训练的实际指令,输出目录可以选择默认以时间戳命名的路径,确认没问题后点"开始"即可开始训练

训练时,在右下角可以实时查看loss下降的曲线,非常直观和方便:

  1. 对话模型

训练好以后可以加载模型的lora参数,进行对话:

7.融合lora参数,导出模型

训练完成后,可以融合lora参数,导出作为一个新的模型。新的训练好的模型参数结构和原来的模型(例如qwen2.5-vl)结构一致。原来的模型怎么加载,新的模型就怎么加载

相关推荐
合作小小程序员小小店17 分钟前
web安全开发,在线%机器学习异常流量检测系统%开发demo
人工智能·python·mysql·机器学习·sklearn
sbc-study27 分钟前
混沌映射(Chaotic Map)
开发语言·人工智能·python·算法
Huangdroid27 分钟前
LangChain完全指南:从入门到精通,打造AI应用开发新范式
人工智能·python·langchain
要努力啊啊啊29 分钟前
大语言模型中的注意力机制详解
人工智能·语言模型·自然语言处理
TimTu29 分钟前
RWKV-7 架构理解
人工智能·rwkv·deeplearning
后端小肥肠1 小时前
即梦3.0+Coze王炸联动:10w+小人国微观生活视频轻松量产!(附喂饭级教程)
人工智能·aigc·coze
华院计算1 小时前
华院计算出席信创论坛,分享AI教育创新实践并与燧原科技共同推出教育一体机
人工智能·科技·百度
深兰科技2 小时前
深兰科技董事长陈海波受邀出席2025苏商高质量发展(常州)峰会,共话AI驱动产业升级
人工智能·mongodb·intellij-idea·hbase·flume·新质生产力·深兰科技
说私域2 小时前
基于开源AI大模型AI智能名片S2B2C商城小程序源码的销售环节数字化实现路径研究
人工智能·小程序·开源·零售