mac m4电脑运行 LLaMA Factory 微调

背景

之前使用的是 window直接运行的 docker镜像,直接运行,后来在mac m4电脑上运行的时候,发现docker 镜像一个是不兼容,另外一个是m4 苹果芯片不能简单实用gpu进行训练。

因此考虑本地启动项目进行训练

环境 mac m4 air

conda + python 10 + pycharm

  1. 下载项目
shell 复制代码
git clone  https://github.com/hiyouga/LLaMA-Factory.git
  1. 创建python虚拟环境
shell 复制代码
conda create -n llama-factory python=3.10
  1. 激活环境
shell 复制代码
conda activate llama-factory            
  1. 安装依赖
shell 复制代码
 pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu
  1. 导入包
shell 复制代码
python -c "import torch; print(torch.backends.mps.is_available())" 

继续安装依赖

shell 复制代码
 pip install -e ".[torch,metrics]" 
shell 复制代码
 pip install "httpx[socks]" --upgrade
  1. 启动
shell 复制代码
llamafactory-cli webui

访问地址

shell 复制代码
http://localhost:7860/

ok,启动完成 enjoy it。

windows docker微调大模型并部署服务提供外部调用

相关推荐
sysinside1 天前
如何创建可引导的 macOS Golden Gate 27 安装介质
macos
Dr.Buho1 天前
macOS 27 升级教程:兼容机型、三种安装方法与降级提示
经验分享·macos
sysinside1 天前
macOS Golden Gate 27.0 (26A428) 正式版 Boot ISO 原版可引导映像下载
macos
黑科技iOS上架2 天前
Cocos应用App Store4.3被拒怎么自查
macos·ios·objective-c·cocoa·审核·ios混淆·cocos混淆
典典分享指南2 天前
AI 配图的排版规范
macos·docker·github·vim·visual studio
:-)3 天前
修改mac电脑用户名
macos
renzao_ai3 天前
本地 35B 大模型部署实战:Ollama 跑 Ornith-35B 全流程
python·llama·免费ai大模型
Είναι η κοπέλα3 天前
本地大模型部署完全指南:Ollama / vLLM / llama.cpp / MLX 四大引擎横评与选型实战
macos·llama·vllm
那年窗外下的雪.3 天前
AIDC 学习日志|第 25 天|设备输出反推、MAC Flapping 与 EAD 撤销
前端·网络·git·学习·macos
星辰即远方3 天前
RunLoop初步了解
macos·objective-c·cocoa