mac m4电脑运行 LLaMA Factory 微调

背景

之前使用的是 window直接运行的 docker镜像,直接运行,后来在mac m4电脑上运行的时候,发现docker 镜像一个是不兼容,另外一个是m4 苹果芯片不能简单实用gpu进行训练。

因此考虑本地启动项目进行训练

环境 mac m4 air

conda + python 10 + pycharm

  1. 下载项目
shell 复制代码
git clone  https://github.com/hiyouga/LLaMA-Factory.git
  1. 创建python虚拟环境
shell 复制代码
conda create -n llama-factory python=3.10
  1. 激活环境
shell 复制代码
conda activate llama-factory            
  1. 安装依赖
shell 复制代码
 pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu
  1. 导入包
shell 复制代码
python -c "import torch; print(torch.backends.mps.is_available())" 

继续安装依赖

shell 复制代码
 pip install -e ".[torch,metrics]" 
shell 复制代码
 pip install "httpx[socks]" --upgrade
  1. 启动
shell 复制代码
llamafactory-cli webui

访问地址

shell 复制代码
http://localhost:7860/

ok,启动完成 enjoy it。

windows docker微调大模型并部署服务提供外部调用

相关推荐
pe7er2 天前
macOS 应用无法打开(权限问题)解决方案
macos·mac
ECHO飞跃 0125 天前
Unity2019 本地推理 通义千问0.5-1.5B微调导入
人工智能·深度学习·unity·llama
黑白极客5 天前
ACP大模型认证刷题工具开源,助力高效备考
java·ai·github·llama·认证
harmful_sheep5 天前
mac生效的终端查看
macos
迷之程序员5 天前
llama-cpp-python用法,模型加载gpu踩坑全记录
开发语言·python·llama
iOS门童5 天前
macOS 应用"已损坏"无法打开?一文搞懂 Gatekeeper 与解决方案
macos
NPE~5 天前
[工具分享]Maccy —— 优雅的 macOS 剪贴板历史管理工具
macos·教程·工具·实用工具
差不多程序员6 天前
Mac安装OpenClaw-cn保姆级教程
macos
dzl843946 天前
mac 安装python
开发语言·python·macos
Bruce_Liuxiaowei6 天前
在 macOS 上通过 Docker 本地安装 OpenClaw 完整教程
macos·docker·容器·openclaw