Mac M2 本地下载 Xinference

想要在Mac M2 上部署一个本地的模型。看到了Xinference 这个工具

一、Xorbits Inference 是什么

Xorbits Inference(Xinference)是一个性能强大且功能全面的分布式推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。

本地部署参考了这两个文档

部署文档

欢迎来到 Xinference! --- Xinference

部署文档

接入 Xinference 部署的本地模型 | 中文 | Dify

二、本地部署

安装命令

复制代码
pip install xinference

安装成功

硬件加速

复制代码
CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python

安装成功

启动(启动的时候,指定从魔搭上拉取模型。注意这里,国内的话用魔搭拉取会顺畅一些,国外的话可以不指定,取huggingface上去拉去模型)

复制代码
XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997

本地访问

复制代码
http://0.0.0.0:9997
相关推荐
海上飞猪20 小时前
【MacOS】Warp安装使用教程
macos
FreeBuf_1 天前
思科IOS零日RCE漏洞正遭野外利用(CVE-2025-20352)
macos·ios·cocoa
Tisfy1 天前
MacOS - Clang使用bits/stdc++.h - 非官方(竞赛用) - 通用方法
开发语言·c++·macos
测试工程师成长之路1 天前
Mac中XXX将对您的电脑造成伤害, 您应该将它移到废纸篓
macos
00后程序员张1 天前
iOS 26 系统流畅度深度剖析,Liquid Glass 视效与界面滑动的实际测评
android·macos·ios·小程序·uni-app·cocoa·iphone
bjdnlsj1 天前
【MAC环境】安装多个 JDK
java·开发语言·macos
2501_916008891 天前
iOS 26 系统流畅度剖析:Liquid Glass 动画表现 + 用户反馈
android·macos·ios·小程序·uni-app·cocoa·iphone
FL16238631292 天前
todesk连接Mac设备时卡在100%(手机、平板连接时卡在75%)
macos
HezhezhiyuLe2 天前
MAC idea 环境变量设置失效
java·macos·intellij-idea
00后程序员张2 天前
iOS 开发环境搭建完整指南 Xcode 安装配置、iOS 开发工具选择、ipa 打包与 App Store 上架实战经验
android·macos·ios·小程序·uni-app·iphone·xcode