CentOS8.5 LLaMA-Factory训练模型

注:VMware16 + CentOS8.5 虚拟机尝试,不能实现GPU直通,训练不能成功。需要单独服务器直接安装linux系统。还要查看自己的显卡是否支持CUDA

CUDA GPU | NVIDIA 开发者

魔搭社区下载模型需要安装:

复制代码
pip install modelscope

使用量化需要安装:

复制代码
pip install bitsandbytes

下载模型

模型库:模型库首页 · 魔搭社区

找到你需要的模型

例如:Llama-3.2-3B-Instruct

使用命令下载:

复制代码
modelscope download --model LLM-Research/Llama-3.2-3B-Instruct

默认下载的模型目录:

用户目录下的.cache/modelscope/hub/models/(cache前的点不要忽略)

LLaMA-Factory放入模型

复制代码
cd ~/LLaMA-Factory/

mkdir models/

cp -r ~/.cache/modelscope/hub/models/ ~/LLaMA-Factory/models/

运行LLaMA-Factory页面

复制代码
conda  activate llamafactory

llamafactory-cli webui

配置页面属性

本地模型需要填写全路径:

/root/LLaMA-Factory/models/models/LLM-Research/Llama-3.2-3B-Instruct

此时就表示,我们的模型可用了。

自定义数据集准备

下载示例数据集

以下是使用示例数据集的步骤,假设您使用的是PAI提供的多轮对话数据集:

复制代码
cd LLaMA-Factory
wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/llama_factory/data.zip
mv data data.bak
unzip data.zip -d data

查看数据集

设置训练参数

可以打开量化进行加速;

下方数据集是选择出现的,不是自己填进去的,如果不行,就把数据路径搞成全路径。

开始微调

在Web UI中设置好参数后,您可以开始模型微调过程。微调完成后,您可以在界面上观察到训练进度和损失曲线。

启动微调后需要等待大约20分钟,待模型下载完毕后,可在界面观察到训练进度和损失曲线。当显示训练完毕时,代表模型微调成功。

评估模型

未完成,待继续

相关推荐
枫叶丹410 分钟前
【Qt开发】输入类控件(四)-> QSpinBox
开发语言·qt
金井PRATHAMA13 分钟前
框架系统的多维赋能——论其对自然语言处理深层语义分析的影响与启示
人工智能·自然语言处理·知识图谱
面壁的熊猫15 分钟前
目标检测概述
人工智能·目标检测·计算机视觉
Learn Beyond Limits20 分钟前
Using per-item Features|使用每项特征
人工智能·python·神经网络·算法·机器学习·ai·吴恩达
石臻臻的杂货铺28 分钟前
如何让AI实现自动化 —— PlayWright MCP 实测
运维·人工智能·自动化
之墨_28 分钟前
【大语言模型】—— Transformer的QKV及多头注意力机制图解解析
人工智能·语言模型·transformer
我的offer在哪里37 分钟前
九月技术奇点观察:当量子算力与 AI 认知同时突破临界点
人工智能·量子计算
文火冰糖的硅基工坊1 小时前
[创业之路-682]:实即虚,虚即实。真正的技术壁垒,藏在光路之外、电路之下、代码之中。
人工智能·算法·系统架构·制造·创业·产业链
nju_spy1 小时前
大模型面经(一) Prompt + RAG + 微调
人工智能·面试·lora·大模型·rag·提示词工程·peft微调