GPUStack私有模型仓库配置教程

GPUStack 当前支持从 Hugging Face 和 Ollama Registry 模型仓库部署模型,其中 Ollama 使用了 OCI 分发规范 来分发模型镜像,虽然 Ollama 不支持通过 Docker 来构建和管理 Ollama 的模型镜像,但 Ollama 提供了相关的 CLI 命令同样可以用来管理模型镜像,例如进行 pull 和 push 等操作,也支持使用 Docker Registry 作为自托管的私有模型仓库。

配置教程

前置准备工作

安装 Docker

安装 Ollama:https://ollama.com/

安装 GPUStack,参考:

https://docs.gpustack.ai/quickstart/

运行 Docker Registry

通过 Docker 在本地运行一个 Docker Registry 容器,监听在主机的5001端口:

docker run -d -p 5001:5000 --name registry registry:2

检查 Registry 容器运行状态:docker ps

访问 Docker Registry 端点验证 Registry 服务正常:curl http://localhost:5001/v2

Ollama 推送模型镜像到 Docker Registry

运行 Ollama ,然后打开命令行,通过 Ollama 命令下载 llama3.1 模型:ollama pull llama3.1

检查已下载好的模型:ollama list

通过 ollama cp 命令将模型拷贝一个指向 Docker Registry 地址的名称:ollama cp llama3.1 192.168.50.53:5001/library/llama3.1

将模型镜像推送到 Docker Registry :ollama push 192.168.50.53:5001/library/llama3.1 --insecure

配置 GPUStack 使用私有模型仓库

配置 GPUStack ,添加 --ollama-library-base-url 启动参数指定 Docker Registry 的地址:curl -sfL https://get.gpustack.ai | sh -s - --ollama-library-base-url http://192.168.50.53:5001

检查 GPUStack 日志,确认 GPUStack 服务正常启动:tail -200f /var/log/gpustack.log

从私有模型仓库部署模型

访问 GPUStack ,选择模型-部署模型 ,选择从 Ollama Library 部署,填写前面推送到 Docker Registry 的模型名称,教程示例是 llama3.1,如下:

GPUStack 会从私有模型仓库下载模型,而不是从公网 Ollama Library 下载:

相关推荐
bryant_meng11 小时前
ChatGPT Desktop Model Evolution (2025): From GPT-4.1 to GPT-5.1
gpt·chatgpt·gpt4·gpt4o·gpt5
一缕82年的清风11 小时前
谷歌甩出 Gemini 4 Neon:Agent 编程榜登顶第一、缓存仅 $0.15,把刚发的 GPT-6.2 架在火上烤!
gpt·claude·gemini
2301_7671139820 小时前
GPT-6.2 Astra 和 Sol 发布:真正变化的是长任务成本与交付方式
gpt
zdr尽职尽责1 天前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
一缕82年的清风1 天前
OpenAI 突发 GPT-6.2:Sol 提速 8 倍跑分追平旗舰,但这 1 处暗改会让缓存直接失效!
gpt·chatgpt
回眸&啤酒鸭2 天前
【回眸】GPT-6.1 Sol 新手快速上手指南
gpt
谙弆悕博士3 天前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
泓博4 天前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
Eloudy5 天前
从 DeepSeek-V1 到 DeepSeek-V2:一次从“堆稠密参数”到“稀疏计算+压缩缓存”的架构转向
gpt·llm·transformer
小小-猿5 天前
从 gpt-6-luna 到第一个 Nexent 智能体:配置、调试与发布
gpt·大模型·智能体·ai智能体·nexent