推理集群 - 推理集群技术,学习,经验文章

GPUStack

1 小时前

从 24 到 51 tok/s：用 GPUStack 调优 4 台 DGX Spark 上的 GLM 推理GPU 价格持续上涨，促使我们重新审视一些过去觉得“不太划算”的设备，DGX Spark 就是其中之一。此前，它的性能和价格定位让我们有些犹豫；如今，在新的采购成本背景下，用它搭建小规模推理集群，开始成为一个值得认真验证的选择。