在本地(Windows环境)部署LLaMa-Factory,进行模型微调步骤!!!

一、准备环境

bash 复制代码
1、GPU:NVIDIA GeForce RTX3060
2、CPU:12th Gen Intel(R) Core(TM) i7-12700
3、内存:32GB
4、版本:Windows11 专业版、版本号:24H2、操作系统版本:26100.7623

二、python环境准备

bash 复制代码
# 安装python
## LLaMA-Factory 官方推荐 Python 3.8-3.10、本次使用的时3.10版本
下载python-3.10.0-amd64.exe # Windows后,双击安装即可
# cmd命令行下、验证版本
python --version

三、CUDA环境安装

bash 复制代码
# 下载、安装NVIDIA的并行计算平台和编程模型CUDA
https://developer.nvidia.com/cuda-gpus

# 安装完成后,运行命令验证
nvcc -V
bash 复制代码
# 卸载CPU版
pip uninstall torch torchvision torchaudio

# 查看CU版本
nvidia-smi
# 右上角有CUDA Version

# 安装GPU版(示例CUDA 12.6)大约需要十几分钟吧
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

# 命令验证
C:\Windows\System32>python
Python 3.10.0 (tags/v3.10.0:b494f59, Oct  4 2021, 19:00:18) [MSC v.1929 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> print("CUDA 可用:", torch.cuda.is_available())
CUDA 可用: True
>>> print(f"PyTorch 版本: {torch.__version__}")
PyTorch 版本: 2.10.0+cu126
>>> print(f"CUDA 版本: {torch.version.cuda}")
CUDA 版本: 12.6

四、LLaMA-Factory安装

bash 复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
# 从国内资源中,直接download下来zip包解压也可以
https://gitcode.com/qq_52095705111/LLaMA-Factory

# 执行以下命令,大约需要十几分钟吧
cd LLaMA-Factory
pip install -e .
pip install -r requirements.txt

# 安装完成后,验证版本
llamafactory-cli version

五、运行LLaMA-Factory

bash 复制代码
cd LLaMA-Factory
llamafactory-cli webui

http://localhost:7860

至此、全部结束!!

相关推荐
万里侯1 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐1 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
最强小杰10 小时前
某 OpenAI 兼容网关上的 `kimi-k3.1-pro`:Cline、Zed 接入与 SSE 排错示例
java·服务器·网络·ai
Maynor99611 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
七夜zippoe11 小时前
多 Agent 通信灾难:状态不一致导致雪崩故障的排查与防护
ai·agent·通信灾难·雪崩故障·排查与防护
Forget the Dream13 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
观察员13 小时前
告别频繁锁屏:5行 PowerShell 脚本实现 Windows 自动防休眠
windows·命令行
Funlang14 小时前
在 Windows 95 上写前端
前端·javascript·windows
zdr尽职尽责14 小时前
UnityCli 兼容2022版本
ui·unity·ai·c#·游戏引擎
一切皆有可能!!19 小时前
【SoduWork测评】本机跑源码,找到并修了7个Bug
windows·开源·bug·ai编程·soduwork