LLaMA-Factory+Ollama远程服务器部署及知识库微调训练

参考

  1. LLaMA-Factory官网https://llamafactory.readthedocs.io/zh-cn/latest/#
  2. LLaMA-Factory+Ollama操作流程 https://zhuanlan.zhihu.com/p/991206079

微调和搭建知识库的区别

  1. rag需要载体(类似向量数据库,文档等)去承载知识库。
  2. 微调直接将功能加入到模型当中。
  3. 针对场景而定,结合知识库比较灵活,节省训练的算力。微调简单粗暴,有模型即可进行推理。

部署

默认cuda安装都已经完成,网上很多教程,不在这里多说。

运行以下指令以安装 LLaMA-Factory 及其依赖:

bash 复制代码
# 获取项目
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
# 进入项目
cd LLaMA-Factory
# 创建环境
conda create -n llama_factory python=3.10
# 激活环境
conda activate llama_factory
# 安装依赖
pip install -e ".[torch,metrics]"

完成安装后,可以通过使用 llamafactory-cli version 来快速校验安装是否成功。

如果能成功看到类似 "Welcome to LLaMA Factory, version ······" 的字样,说明安装成功。

启动

进入webui

bash 复制代码
llamafactory-cli webui

打开链接即可看到训练平台。

使用训练平台

WebUI 主要分为四个界面:训练、评估与预测、对话、导出。

1.训练

需要指定的参数有:

  1. 模型名称及路径
  2. 训练阶段
  3. 微调方法
  4. 训练数据集
  5. 学习率、训练轮数等训练参数
  6. 微调参数等其他参数
  7. 输出目录及配置路径
    比如说,我选择的就是Baichuan-7B-Base的中文对话模型,数据集也选择的是alpaca的中文数据集。
    随后,可以点击 开始 按钮开始训练模型。

若使用CPU训练可能会报Warning,忽略即可

2.评估预测与对话

模型训练完毕后,通过在评估与预测界面通过指定 模型 及 适配器 的路径在指定数据集上进行评估。

也可以通过在对话界面指定 模型、 适配器 及 推理引擎 后输入对话内容与模型进行对话观察效果。

3.导出

在导出界面通过指定 模型、 适配器、 分块大小、 导出量化等级及校准数据集、 导出设备、 导出目录 等参数后,点击 导出 按钮导出模型。

(如果需要部署到Ollama上,请一定记得把模型导出)

示例:微调中文对话大模型

使用alpaca_zh_demo数据集微调Llama-3-8B-Chinese-Chat模型

训练过程的Loss曲线如下:

导出模型:

4.利用自己的数据进行微调

添加数据集信息

路径地址:/root/scratch/LLaMA-Factory/data

在dataset_info.json中加入自己的数据集名称和位置。custom_data为数据集的名称,test.json为位置,位置路径默认为在/root/scratch/LLaMA-Factory/data/test.json这个位置。

weiui同步可以显示名称

添加自己的数据

/root/scratch/LLaMA-Factory/data/test.json在这里添加数据

模型转换

git地址:https://github.com/ggml-org/llama.cpp

bash 复制代码
cd /root/scratch/LLaMA-Factory
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
python convert_hf_to_gguf.py /root/scratch/LLaMA-Factory/saves/Baichuan-7B-Base/lora/train_2025-02-27-08-34-33/checkpoint-12 \
 --outfile /home/yyx/output-100.gguf \
 --outtype q8_0

模型转向量

css 复制代码
# 查看拥有的模型
ollma list
# 返回
NAME               ID              SIZE      MODIFIED   
deepseek-r1:14b    ea35dfe18182    9.0 GB    5 days ago 
# 激活环境
conda activate llama_factory
# 安装包
pip install langchain_ollama
# 执行脚本
from langchain_ollama import OllamaEmbeddings

# 使用 Ollama Embeddings 模型
embeddings = OllamaEmbeddings(model="deepseek-r1:14b")

# 嵌入查询文本
result = embeddings.embed_query("My query to look up")
print(result)
相关推荐
你想考研啊8 分钟前
四、jenkins自动构建和设置邮箱
运维·jenkins
Code blocks10 分钟前
使用Jenkins完成springboot项目快速更新
java·运维·spring boot·后端·jenkins
snoopyfly~36 分钟前
Ubuntu 24.04 LTS 服务器配置:安装 JDK、Nginx、Redis。
java·服务器·ubuntu
饥饿的半导体1 小时前
Linux快速入门
linux·运维
Me4神秘1 小时前
Linux国产与国外进度对垒
linux·服务器·安全
还是奇怪3 小时前
Linux - 安全排查 2
linux·运维·安全
牛奶咖啡134 小时前
Linux系统的常用操作命令——文件远程传输、文件编辑、软件安装的四种方式
运维·服务器·软件安装·linux云计算·scp文件远程传输·vi文件编辑·设置yum的阿里云源
weixin_437398214 小时前
转Go学习笔记(2)进阶
服务器·笔记·后端·学习·架构·golang
难受啊马飞2.04 小时前
如何判断 AI 将优先自动化哪些任务?
运维·人工智能·ai·语言模型·程序员·大模型·大模型学习
会又不会4 小时前
Jenkins-Email Extension 插件插件
运维·jenkins