mac m4电脑运行 LLaMA Factory 微调

背景

之前使用的是 window直接运行的 docker镜像,直接运行,后来在mac m4电脑上运行的时候,发现docker 镜像一个是不兼容,另外一个是m4 苹果芯片不能简单实用gpu进行训练。

因此考虑本地启动项目进行训练

环境 mac m4 air

conda + python 10 + pycharm

  1. 下载项目
shell 复制代码
git clone  https://github.com/hiyouga/LLaMA-Factory.git
  1. 创建python虚拟环境
shell 复制代码
conda create -n llama-factory python=3.10
  1. 激活环境
shell 复制代码
conda activate llama-factory            
  1. 安装依赖
shell 复制代码
 pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu
  1. 导入包
shell 复制代码
python -c "import torch; print(torch.backends.mps.is_available())" 

继续安装依赖

shell 复制代码
 pip install -e ".[torch,metrics]" 
shell 复制代码
 pip install "httpx[socks]" --upgrade
  1. 启动
shell 复制代码
llamafactory-cli webui

访问地址

shell 复制代码
http://localhost:7860/

ok,启动完成 enjoy it。

windows docker微调大模型并部署服务提供外部调用

相关推荐
书弋江山12 小时前
iOS一直讲的单元格优化
macos·ios·cocoa
阿四18 小时前
mac升级系统到macOS26后触控板滑动异常,原因竟然是这个!
macos
mortimer19 小时前
从 Python+venv+pip 迁移到 uv 全过程 及 处理 torch + cuda 的跨平台指南
pytorch·python·macos
2501_915921431 天前
iOS 26 电耗监测与优化,耗电问题实战 + 多工具 辅助策略
android·macos·ios·小程序·uni-app·cocoa·iphone
Mac技巧大咖2 天前
苹果电脑如何维护优化系统:让mac重获新生的系统维护优化全攻略
macos·苹果电脑系统优化
氷泠2 天前
解决MacOS上CLion调试的时候容器的值显示为0的问题
macos·调试·lldb·clion
他们都不看好你,偏偏你最不争气2 天前
【iOS】KVC总结
macos·ios·objective-c·cocoa·kvc
fly五行2 天前
大模型基础入门与 RAG 实战:从理论到 llama-index 项目搭建(有具体代码示例)
python·ai·llama·llamaindex
1024小神3 天前
关于在ios系统中签名并安装ipa文件的五种方法,PakePlus打包的ipa文件可以看看
macos·ios·cocoa
漂亮_大男孩3 天前
conda|如何通过命令行在mac上下载conda
macos·conda