mac m4电脑运行 LLaMA Factory 微调

背景

之前使用的是 window直接运行的 docker镜像,直接运行,后来在mac m4电脑上运行的时候,发现docker 镜像一个是不兼容,另外一个是m4 苹果芯片不能简单实用gpu进行训练。

因此考虑本地启动项目进行训练

环境 mac m4 air

conda + python 10 + pycharm

  1. 下载项目
shell 复制代码
git clone  https://github.com/hiyouga/LLaMA-Factory.git
  1. 创建python虚拟环境
shell 复制代码
conda create -n llama-factory python=3.10
  1. 激活环境
shell 复制代码
conda activate llama-factory            
  1. 安装依赖
shell 复制代码
 pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu
  1. 导入包
shell 复制代码
python -c "import torch; print(torch.backends.mps.is_available())" 

继续安装依赖

shell 复制代码
 pip install -e ".[torch,metrics]" 
shell 复制代码
 pip install "httpx[socks]" --upgrade
  1. 启动
shell 复制代码
llamafactory-cli webui

访问地址

shell 复制代码
http://localhost:7860/

ok,启动完成 enjoy it。

windows docker微调大模型并部署服务提供外部调用

相关推荐
heroboyluck11 小时前
AI工程师第四课 - 深度学习入门
人工智能·python·深度学习·llama
colman wang1 天前
Git指令(Mac)
git·macos
酷虎软件2 天前
分享链接+视频音频文案提取 API 接口文档
ide·macos·xcode
Hyyy2 天前
为什么 macOS 应用一换 Bundle ID,之前授予的权限就全失效了?
macos·electron
p似笑非笑2 天前
实战验证——把 SDK 塞进一个 macOS 原生 Agent 应用
macos
p似笑非笑2 天前
在Mac上完美配置VSCode的C/C++开发环境(GCC/G++详细教程)
c语言·vscode·macos
韦胖漫谈IT2 天前
Apple M3 Max 与 Apple M5 Max 对比:本地算力的新旧王者之争
网络·人工智能·macos·transformer
Token炼金师3 天前
引擎四强:vLLM、SGLang、TensorRT-LLM 与 llama.cpp —— 推理引擎选型对决
人工智能·llm·llama·vllm·tensorrt-llm·sglang
greasyfork3 天前
多种数据库管理混乱?Navicat Premium 17 for Mac 统一解决
数据库·mysql·macos·mac
碎_浪4 天前
Mac 壁纸被 MDM 锁住?我做了个 2MB 的开源方案
macos·开源·swift