【AI】基于 LLaMa-Factory 和 LoRA 算法的大模型微调

目录

1.Windows

2.Linux

3.微调操作(待更新)


1.Windows

LLaMA-Factory 的 Github地址:https://github.com/hiyouga/LLaMA-Factory

克隆仓库(我的windows目录是D:\Program Files\LLaMa-Factory,linux可以直接在根目录克隆)

复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

切换到项目目录

复制代码
cd LLaMA-Factory

修改配置,将 conda 虚拟环境安装到数据盘

(如果你已经配置过则不用这步)

复制代码
mkdir -p "D:\Program Files\conda\pkgs"
conda config --add pkgs_dirs "D:\Program Files\conda\pkgs"
mkdir -p "D:\Program Files\conda\envs"
conda config --add envs_dirs "D:\Program Files\conda\envs"

或者直接去c盘修改配置(C:\Users\Administrator\.condarc)

按下win键,输入Anaconda Prompt,用管理员打开

(如果你已经将conda放到环境变量,就在当前目录操作即可)

创建 conda 虚拟环境(一定要 3.10 的 python 版本,不然和 LLaMA-Factory 不兼容)

复制代码
conda create -n llama-factory python=3.10

接受所有条款,然后重新执行上述操作

复制代码
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/main
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/r
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/msys2

激活环境

复制代码
conda activate llama-factory

下载依赖

复制代码
pip install -e ".[torch,metrics]"

从错误信息可以看出两个主要问题:

  1. SSL证书验证失败 :无法通过HTTPS连接到PyPI下载setuptools

  2. pip版本过旧:您使用的是pip 20.3.1,而最新版本是25.0.1

报错的话就先激活环境,同时一定要初始化(当前目录或者是Anaconda Prompt)

复制代码
conda init

重新下载依赖即可

检验是否安装成功

复制代码
llamafactory-cli version

启动 LLama-Factory 的可视化微调界面 (由 Gradio 驱动)

复制代码
llamafactory-cli webui

访问LLaMA Factory (QXC-20250903GVX)

这里我们需要新开一个终端(D:\Program Files\LLaMa-Factory输入cmd),记得要先激活llama-factory环境

创建文件夹统一存放所有基座模型

复制代码
mkdir "D:\Program Files\hugging-face"

修改 HuggingFace 的镜像源

复制代码
set HF_ENDPOINT=https://hf-mirror.com

修改模型下载的默认位置

复制代码
set "HF_HOME=D:\Program Files\hugging-face"

这种配置方式只在当前 shell 会话中有效,如果你希望这个环境变量在每次启动终端时都生效,可以执行以下操作(但没必要)

复制代码
setx HF_ENDPOINT "https://hf-mirror.com"
setx "HF_HOME=D:\Program Files\hugging-ace"

检查环境变量是否生效

复制代码
echo %HF_ENDPOINT%
echo %HF_HOME%

安装 HuggingFace 官方下载工具

复制代码
pip install -U huggingface_hub

下载可能会报如下错误,这是因为 hugging-face 的版本太高了,安装低版本的就可以了

安装低版本,再次执行上述操作即可

复制代码
pip install "huggingface_hub<1.0"

执行下载命令

复制代码
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

下载之后就可以直接开始微调了

2.Linux

大部分操作跟windows一样

克隆仓库(我的windows目录是D:\Program Files\LLaMa-Factory,linux可以直接在根目录克隆)

复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

切换到项目目录

复制代码
cd LLaMA-Factory

修改配置,将 conda 虚拟环境安装到数据盘

(如果你已经配置过则不用这步)

复制代码
mkdir -p /root/autodl-tmp/conda/pkgs 
conda config --add pkgs_dirs /root/autodl-tmp/conda/pkgs 
mkdir -p /root/autodl-tmp/conda/envs 
conda config --add envs_dirs /root/autodl-tmp/conda/envs

以管理员方式打开Anacnoda Prompt (如果你已经将conda放到环境变量,就在当前目录操作即可)

创建 conda 虚拟环境(一定要 3.10 的 python 版本,不然和 LLaMA-Factory 不兼容)

复制代码
conda create -n llama-factory python=3.10

如有需要,接受所有条款,然后重新执行上述操作

复制代码
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/main
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/r
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/msys2

激活环境

复制代码
conda activate llama-factory

下载依赖

复制代码
pip install -e ".[torch,metrics]"

报错的话就先激活环境,同时一定要初始化(当前目录或者是Anaconda Prompt),重新执行上述命令

复制代码
conda init

检验是否安装成功

复制代码
llamafactory-cli version

启动 LLama-Factory 的可视化微调界面 (由 Gradio 驱动)

复制代码
llamafactory-cli webui

访问LLaMA Factory (QXC-20250903GVX)

这里我们需要新开一个终端,记得要先激活llama-factory环境

创建文件夹统一存放所有基座模型

复制代码
mkdir hugging-face

修改 HuggingFace 的镜像源

复制代码
export HF_ENDPOINT=https://hf-mirror.com

修改模型下载的默认位置

复制代码
export HF_HOME=/root/autodl-tmp/Hugging-Face

这种配置方式只在当前 shell 会话中有效,如果你希望这个环境变量在每次启动终端时都生效,可以执行以下操作(但没必要)

复制代码
echo 'export HF_ENDPOINT="https://hf-mirror.com"' >> ~/.bashrc
echo 'export HF_HOME="/root/autodl-tmp/hugging-face"' >> ~/.bashrc

# 重新加载配置
source ~/.bashrc

检查环境变量是否生效

复制代码
echo $HF_ENDPOINT
echo $HF_HOME

安装 HuggingFace 官方下载工具

复制代码
pip install -U huggingface_hub

下载可能会报如下错误,这是因为 hugging-face 的版本太高了,安装低版本的就可以了

安装低版本,再次执行上述操作即可

复制代码
pip install "huggingface_hub<1.0"

执行下载命令

复制代码
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

下载之后就可以直接开始微调了

3.微调操作(待更新)

...

相关推荐
程序员清洒14 分钟前
CANN模型安全:从对抗防御到隐私保护的全栈安全实战
人工智能·深度学习·安全
island131418 分钟前
CANN ops-nn 算子库深度解析:神经网络计算引擎的底层架构、硬件映射与融合优化机制
人工智能·神经网络·架构
小白|21 分钟前
CANN与实时音视频AI:构建低延迟智能通信系统的全栈实践
人工智能·实时音视频
Kiyra22 分钟前
作为后端开发你不得不知的 AI 知识——Prompt(提示词)
人工智能·prompt
艾莉丝努力练剑25 分钟前
实时视频流处理:利用ops-cv构建高性能CV应用
人工智能·cann
程序猿追25 分钟前
深度解析CANN ops-nn仓库 神经网络算子的性能优化与实践
人工智能·神经网络·性能优化
User_芊芊君子28 分钟前
CANN_PTO_ISA虚拟指令集全解析打造跨平台高性能计算的抽象层
人工智能·深度学习·神经网络
初恋叫萱萱32 分钟前
CANN 生态安全加固指南:构建可信、鲁棒、可审计的边缘 AI 系统
人工智能·安全
机器视觉的发动机37 分钟前
AI算力中心的能耗挑战与未来破局之路
开发语言·人工智能·自动化·视觉检测·机器视觉
铁蛋AI编程实战40 分钟前
通义千问 3.5 Turbo GGUF 量化版本地部署教程:4G 显存即可运行,数据永不泄露
java·人工智能·python