gpustack

我叫安查查10 天前
linux·ubuntu·docker·gpustack
在Ubuntu系统上使用docker部署GPUStack教程【亲测成功】GPUStack 是一个开源的 GPU 集群管理器,用于统一纳管多平台、多厂商的算力资源并提供大模型推理服务。 它支持在Linux、Windows、macOS上管理 NVIDIA、AMD、Apple Silicon、昇腾、海光、摩尔线程等异构 GPU,覆盖 LLM、VLM、Embedding、Reranker、扩散图像、语音 STT/TTS 等多类型模型 提供OpenAI 兼容 API 与可视化控制台,便于快速搭建企业级私有模型服务。项目采用Apache License 2.0,代码托管于 GitHub
博士僧小星1 个月前
开源·大模型·gpu·gpustack
环境配置|GPUStack——为大模型而生的开源GPU集群管理器经过 Seal 研发团队几个月来持续的开发和测试,新产品 GPUStack发布,GPUStack 是一个用于运行 LLM(大型语言模型)的开源 GPU 集群管理器。尽管如今大语言模型作为公共的云上服务已经被广泛推广并在公有云上变得更加易于使用,但对企业来说,部署托管自己私有的 LLM 供企业和组织在私有环境使用仍然非常复杂。
胡耀超2 个月前
人工智能·docker·ai·大模型·milvus·rag·gpustack
AI应用开发入门,docker部署 Milvus + GPUStack (Attu+MinIO)的基础入门!熟悉完后可以整合dify:使用 Milvus 部署 Dify;统计用Directus自动生成REST API 和 GraphQL API接口,完整的 CRUD 功能;https://directus.io/
mzak8 个月前
qwen·鲲鹏·昇腾·deepseek·gpustack
鲲鹏+昇腾部署集群管理软件GPUStack,两台服务器搭建双节点集群【实战详细踩坑篇】配置:2台鲲鹏32C2 + 2Atlas300I duo,之前看网上文档,目前GPUstack只支持910B芯片,想尝试一下能不能310P也部署试试,毕竟华为的集群软件要收费。 系统:openEuler22.03-LTS 驱动:24.1.rc3
我是有底线的