【AI】基于 LLaMa-Factory 和 LoRA 算法的大模型微调

目录

1.Windows

2.Linux

3.微调操作(待更新)


1.Windows

LLaMA-Factory 的 Github地址:https://github.com/hiyouga/LLaMA-Factory

克隆仓库(我的windows目录是D:\Program Files\LLaMa-Factory,linux可以直接在根目录克隆)

复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

切换到项目目录

复制代码
cd LLaMA-Factory

修改配置,将 conda 虚拟环境安装到数据盘

(如果你已经配置过则不用这步)

复制代码
mkdir -p "D:\Program Files\conda\pkgs"
conda config --add pkgs_dirs "D:\Program Files\conda\pkgs"
mkdir -p "D:\Program Files\conda\envs"
conda config --add envs_dirs "D:\Program Files\conda\envs"

或者直接去c盘修改配置(C:\Users\Administrator\.condarc)

按下win键,输入Anaconda Prompt,用管理员打开

(如果你已经将conda放到环境变量,就在当前目录操作即可)

创建 conda 虚拟环境(一定要 3.10 的 python 版本,不然和 LLaMA-Factory 不兼容)

复制代码
conda create -n llama-factory python=3.10

接受所有条款,然后重新执行上述操作

复制代码
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/main
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/r
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/msys2

激活环境

复制代码
conda activate llama-factory

下载依赖

复制代码
pip install -e ".[torch,metrics]"

从错误信息可以看出两个主要问题:

  1. SSL证书验证失败 :无法通过HTTPS连接到PyPI下载setuptools

  2. pip版本过旧:您使用的是pip 20.3.1,而最新版本是25.0.1

报错的话就先激活环境,同时一定要初始化(当前目录或者是Anaconda Prompt)

复制代码
conda init

重新下载依赖即可

检验是否安装成功

复制代码
llamafactory-cli version

启动 LLama-Factory 的可视化微调界面 (由 Gradio 驱动)

复制代码
llamafactory-cli webui

访问LLaMA Factory (QXC-20250903GVX)

这里我们需要新开一个终端(D:\Program Files\LLaMa-Factory输入cmd),记得要先激活llama-factory环境

创建文件夹统一存放所有基座模型

复制代码
mkdir "D:\Program Files\hugging-face"

修改 HuggingFace 的镜像源

复制代码
set HF_ENDPOINT=https://hf-mirror.com

修改模型下载的默认位置

复制代码
set "HF_HOME=D:\Program Files\hugging-face"

这种配置方式只在当前 shell 会话中有效,如果你希望这个环境变量在每次启动终端时都生效,可以执行以下操作(但没必要)

复制代码
setx HF_ENDPOINT "https://hf-mirror.com"
setx "HF_HOME=D:\Program Files\hugging-ace"

检查环境变量是否生效

复制代码
echo %HF_ENDPOINT%
echo %HF_HOME%

安装 HuggingFace 官方下载工具

复制代码
pip install -U huggingface_hub

下载可能会报如下错误,这是因为 hugging-face 的版本太高了,安装低版本的就可以了

安装低版本,再次执行上述操作即可

复制代码
pip install "huggingface_hub<1.0"

执行下载命令

复制代码
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

下载之后就可以直接开始微调了

2.Linux

大部分操作跟windows一样

克隆仓库(我的windows目录是D:\Program Files\LLaMa-Factory,linux可以直接在根目录克隆)

复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

切换到项目目录

复制代码
cd LLaMA-Factory

修改配置,将 conda 虚拟环境安装到数据盘

(如果你已经配置过则不用这步)

复制代码
mkdir -p /root/autodl-tmp/conda/pkgs 
conda config --add pkgs_dirs /root/autodl-tmp/conda/pkgs 
mkdir -p /root/autodl-tmp/conda/envs 
conda config --add envs_dirs /root/autodl-tmp/conda/envs

以管理员方式打开Anacnoda Prompt (如果你已经将conda放到环境变量,就在当前目录操作即可)

创建 conda 虚拟环境(一定要 3.10 的 python 版本,不然和 LLaMA-Factory 不兼容)

复制代码
conda create -n llama-factory python=3.10

如有需要,接受所有条款,然后重新执行上述操作

复制代码
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/main
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/r
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/msys2

激活环境

复制代码
conda activate llama-factory

下载依赖

复制代码
pip install -e ".[torch,metrics]"

报错的话就先激活环境,同时一定要初始化(当前目录或者是Anaconda Prompt),重新执行上述命令

复制代码
conda init

检验是否安装成功

复制代码
llamafactory-cli version

启动 LLama-Factory 的可视化微调界面 (由 Gradio 驱动)

复制代码
llamafactory-cli webui

访问LLaMA Factory (QXC-20250903GVX)

这里我们需要新开一个终端,记得要先激活llama-factory环境

创建文件夹统一存放所有基座模型

复制代码
mkdir hugging-face

修改 HuggingFace 的镜像源

复制代码
export HF_ENDPOINT=https://hf-mirror.com

修改模型下载的默认位置

复制代码
export HF_HOME=/root/autodl-tmp/Hugging-Face

这种配置方式只在当前 shell 会话中有效,如果你希望这个环境变量在每次启动终端时都生效,可以执行以下操作(但没必要)

复制代码
echo 'export HF_ENDPOINT="https://hf-mirror.com"' >> ~/.bashrc
echo 'export HF_HOME="/root/autodl-tmp/hugging-face"' >> ~/.bashrc

# 重新加载配置
source ~/.bashrc

检查环境变量是否生效

复制代码
echo $HF_ENDPOINT
echo $HF_HOME

安装 HuggingFace 官方下载工具

复制代码
pip install -U huggingface_hub

下载可能会报如下错误,这是因为 hugging-face 的版本太高了,安装低版本的就可以了

安装低版本,再次执行上述操作即可

复制代码
pip install "huggingface_hub<1.0"

执行下载命令

复制代码
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

下载之后就可以直接开始微调了

3.微调操作(待更新)

...

相关推荐
XMAIPC_Robot1 分钟前
RK3588+CODESYS+RK182X AI 扩展机器人控制器解决方案|硬实时运动控制 + 大算力边缘 AI 融合实战
人工智能·机器人·rk3588+codesys·arm+codesys
陕西企来客2 分钟前
NAP 信息统一治理:构建生成式 AI 时代企业 GEO 增长的坚实底座-企来客科技NAP方法论-企来客科技NAP信息治理实战解析
大数据·人工智能·科技
a努力。3 分钟前
SpringBoot4迁移:Jackson3包名大变,注解别乱改
人工智能
SamChan904 分钟前
PDF翻译时页眉页脚总在捣乱?跨页重复文本块的检测与过滤实测
人工智能·python·ai·pdf·wpf
徐健峰6 分钟前
JEV 1.13 接入教程:Python 调用 Decisions API,实现分类、评分与 Agent 路由
人工智能
CubeSandbox9 分钟前
沙箱是选项,不是标配:花椒 Agent 平台的架构思考与 Cube 实践
大数据·人工智能·架构
Rocky Ding*12 分钟前
一文读懂Qwen-Audio-3.1核心基础知识:从语音识别到可控声景与实时Agent
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·qwen-audio
桃西西呀13 分钟前
Laya 源码级原理拆解之四:路由检测与服务部署
人工智能·llm·ai编程
努力努力再努力wz13 分钟前
【边缘计算入门系列】从“在哪里算”到“怎么算”:一文建立边缘计算、算子、计算图与 Tensor 的底层心智模型
人工智能·docker·边缘计算
黄啊码14 分钟前
【黄啊码】一个陪伴类的 Agent 产品,凭什么我觉得它做得好?
人工智能