mac m4电脑运行 LLaMA Factory 微调

背景

之前使用的是 window直接运行的 docker镜像,直接运行,后来在mac m4电脑上运行的时候,发现docker 镜像一个是不兼容,另外一个是m4 苹果芯片不能简单实用gpu进行训练。

因此考虑本地启动项目进行训练

环境 mac m4 air

conda + python 10 + pycharm

  1. 下载项目
shell 复制代码
git clone  https://github.com/hiyouga/LLaMA-Factory.git
  1. 创建python虚拟环境
shell 复制代码
conda create -n llama-factory python=3.10
  1. 激活环境
shell 复制代码
conda activate llama-factory            
  1. 安装依赖
shell 复制代码
 pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu
  1. 导入包
shell 复制代码
python -c "import torch; print(torch.backends.mps.is_available())" 

继续安装依赖

shell 复制代码
 pip install -e ".[torch,metrics]" 
shell 复制代码
 pip install "httpx[socks]" --upgrade
  1. 启动
shell 复制代码
llamafactory-cli webui

访问地址

shell 复制代码
http://localhost:7860/

ok,启动完成 enjoy it。

windows docker微调大模型并部署服务提供外部调用

相关推荐
软件小滔24 分钟前
拖拽出来的专业感
经验分享·macos·mac·应用推荐
Benny的老巢2 小时前
【n8n工作流入门02】macOS安装n8n保姆级教程:Homebrew与npm两种方式详解
macos·npm·node.js·n8n·n8n工作流·homwbrew·n8n安装
望眼欲穿的程序猿3 小时前
基于Linux&MacOS 开发Ai8051U
linux·运维·macos
TESmart碲视3 小时前
M4芯片MacBook支持多显示器吗?mac如何与KVM切换器使用。
macos·计算机外设·mst·kvm切换器·双屏kvm切换器
我的golang之路果然有问题3 小时前
Mac 上的 Vue 安装和配置记录
前端·javascript·vue.js·笔记·macos
TheNextByte14 小时前
如何将 iMessage 保存到外部硬盘驱动器
macos·objective-c·cocoa
青州从事52119 小时前
20260108【mac】【brew】【docker】安装
macos·docker·eureka
centor1 天前
国际版 UnitySetup-Android-Support 安装 Mac 设备
android·macos
旭日跑马踏云飞1 天前
【Mac】实用技巧-在新窗口中打开当前文件夹
macos
林疏safe1 天前
CAD2026最新mac的安装教程收集免费分享
macos