CentOS8.5 LLaMA-Factory训练模型

注:VMware16 + CentOS8.5 虚拟机尝试,不能实现GPU直通,训练不能成功。需要单独服务器直接安装linux系统。还要查看自己的显卡是否支持CUDA

CUDA GPU | NVIDIA 开发者

魔搭社区下载模型需要安装:

复制代码
pip install modelscope

使用量化需要安装:

复制代码
pip install bitsandbytes

下载模型

模型库:模型库首页 · 魔搭社区

找到你需要的模型

例如:Llama-3.2-3B-Instruct

使用命令下载:

复制代码
modelscope download --model LLM-Research/Llama-3.2-3B-Instruct

默认下载的模型目录:

用户目录下的.cache/modelscope/hub/models/(cache前的点不要忽略)

LLaMA-Factory放入模型

复制代码
cd ~/LLaMA-Factory/

mkdir models/

cp -r ~/.cache/modelscope/hub/models/ ~/LLaMA-Factory/models/

运行LLaMA-Factory页面

复制代码
conda  activate llamafactory

llamafactory-cli webui

配置页面属性

本地模型需要填写全路径:

/root/LLaMA-Factory/models/models/LLM-Research/Llama-3.2-3B-Instruct

此时就表示,我们的模型可用了。

自定义数据集准备

下载示例数据集

以下是使用示例数据集的步骤,假设您使用的是PAI提供的多轮对话数据集:

复制代码
cd LLaMA-Factory
wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/llama_factory/data.zip
mv data data.bak
unzip data.zip -d data

查看数据集

设置训练参数

可以打开量化进行加速;

下方数据集是选择出现的,不是自己填进去的,如果不行,就把数据路径搞成全路径。

开始微调

在Web UI中设置好参数后,您可以开始模型微调过程。微调完成后,您可以在界面上观察到训练进度和损失曲线。

启动微调后需要等待大约20分钟,待模型下载完毕后,可在界面观察到训练进度和损失曲线。当显示训练完毕时,代表模型微调成功。

评估模型

未完成,待继续

相关推荐
shangjian00715 分钟前
AI-大语言模型LLM-Transformer架构4-多头注意力、掩码注意力、交叉注意力
人工智能·语言模型·transformer
努力犯错19 分钟前
如何使用AI图片扩展器扩展图片边界:2026年完整指南
人工智能
晨非辰22 分钟前
Linux权限管理速成:umask掩码/file透视/粘滞位防护15分钟精通,掌握权限减法与安全协作模型
linux·运维·服务器·c++·人工智能·后端
IT陈图图1 小时前
构建 Flutter × OpenHarmony 跨端带文本输入对话框示例
开发语言·javascript·flutter
丝斯20111 小时前
AI学习笔记整理(63)——大模型对齐与强化学习
人工智能·笔记·学习
延凡科技5 小时前
无人机低空智能巡飞巡检平台:全域感知与智能决策的低空作业中枢
大数据·人工智能·科技·安全·无人机·能源
2501_941329725 小时前
YOLOv8-SEAMHead改进实战:书籍检测与识别系统优化方案
人工智能·yolo·目标跟踪
叫我辉哥e16 小时前
### 技术文章大纲:C语言造轮子大赛
c语言·开发语言
晓翔仔6 小时前
【深度实战】Agentic AI 安全攻防指南:基于 CSA 红队测试手册的 12 类风险完整解析
人工智能·安全·ai·ai安全
百家方案7 小时前
2026年数据治理整体解决方案 - 全1066页下载
大数据·人工智能·数据治理