mac m4电脑运行 LLaMA Factory 微调

背景

之前使用的是 window直接运行的 docker镜像,直接运行,后来在mac m4电脑上运行的时候,发现docker 镜像一个是不兼容,另外一个是m4 苹果芯片不能简单实用gpu进行训练。

因此考虑本地启动项目进行训练

环境 mac m4 air

conda + python 10 + pycharm

  1. 下载项目
shell 复制代码
git clone  https://github.com/hiyouga/LLaMA-Factory.git
  1. 创建python虚拟环境
shell 复制代码
conda create -n llama-factory python=3.10
  1. 激活环境
shell 复制代码
conda activate llama-factory            
  1. 安装依赖
shell 复制代码
 pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu
  1. 导入包
shell 复制代码
python -c "import torch; print(torch.backends.mps.is_available())" 

继续安装依赖

shell 复制代码
 pip install -e ".[torch,metrics]" 
shell 复制代码
 pip install "httpx[socks]" --upgrade
  1. 启动
shell 复制代码
llamafactory-cli webui

访问地址

shell 复制代码
http://localhost:7860/

ok,启动完成 enjoy it。

windows docker微调大模型并部署服务提供外部调用

相关推荐
qzhqbb4 小时前
LLaMA-Factory+Lora+modelscope(离线版)
llama
程序员大辉4 小时前
请卸载xshell,一款国产的终端工具,界面漂亮,功能强大,支持win,mac,linux平台,安全免费
linux·运维·macos
心灵宝贝4 小时前
Snipaste 2.10.1.dmg截图安装教程|Mac电脑拖拽安装详细步骤
macos
山外有山a6 小时前
《黑神话:悟空》核心攻略指南 如何在mac苹果电脑运行《黑神话:悟空》
macos·cocos2d·改行学it
FL16238631296 小时前
todesk远程到被控Mac后不显示画面
macos
goodSleep6 天前
更新Mac OS Tahoe26用命令恢复 Mac 启动台时不小心禁用了聚焦搜索
macos
大模型教程7 天前
小白学大模型:从零搭建LLaMA
程序员·llm·llama
小溪彼岸8 天前
macOS自带截图命令ScreenCapture
macos
TESmart碲视8 天前
Mac 真正多显示器支持:TESmart USB-C KVM(搭载 DisplayLink 技术)如何实现
macos·计算机外设·电脑