Mac M2 本地下载 Xinference

想要在Mac M2 上部署一个本地的模型。看到了Xinference 这个工具

一、Xorbits Inference 是什么

Xorbits Inference(Xinference)是一个性能强大且功能全面的分布式推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。

本地部署参考了这两个文档

部署文档

欢迎来到 Xinference! --- Xinference

部署文档

接入 Xinference 部署的本地模型 | 中文 | Dify

二、本地部署

安装命令

复制代码
pip install xinference

安装成功

硬件加速

复制代码
CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python

安装成功

启动(启动的时候,指定从魔搭上拉取模型。注意这里,国内的话用魔搭拉取会顺畅一些,国外的话可以不指定,取huggingface上去拉去模型)

复制代码
XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997

本地访问

复制代码
http://0.0.0.0:9997
相关推荐
ricky_fan16 小时前
Mac设置中的安全性缺少“任何来源”
macos
xingxing_F16 小时前
Mia for Gmail for Mac 邮件管理软件
macos
self_myth17 小时前
[特殊字符] 深入理解操作系统核心特性:从并发到分布式,从单核到多核的全面解析
windows·macos·wpf·harmonyos
今天头发还在吗19 小时前
关于Homebrew:Mac快速安装Homebrew
macos·homebrew·包管理
Joshua-a1 天前
macOS下arm编译缺少stdint.h等问题
arm开发·macos
m_136871 天前
Mac Intel 芯片部署 YOLO(Docker 方式,支持离线打包与 Compose 管理)
yolo·macos·docker
伐尘1 天前
【mac】macOS上的实用Log用法
macos
liulilittle1 天前
UNIX/macOS路由表查询原理与实现
服务器·开发语言·c++·macos·unix·编程语言
xingxing_F2 天前
PastePal for Mac 剪贴板历史记录管理器
macos
snows_l2 天前
如何在MacOS上卸载并且重新安装Homebrew
macos·homebrew·utils