RadixArk 是一家基础设施优先的公司,专注于推动前沿 AI 的普及。它的创始团队使用开源技术构建 AI 基础设施层,让更多团队能够大规模运行前沿模型,这样团队就不用从零开始重造推理引擎、训练框架和编排层。
为了实现这个目标,RadixArk 团队在 SGLang 之上进行构建,这是一个 2023 年推出的开源推理引擎。它专为生产级 LLM 服务而设计,每天为 Google、Microsoft、NVIDIA、Oracle、AMD、LinkedIn 和 xAI 等机构的数万亿 token 提供推理能力。
SGLang 的一大优势在于,它通过同一个上游项目和框架同时支持 NVIDIA GPU(通过 CUDA)和 AMD GPU(通过 ROCm/HIP)。这意味着开发者可以面向多种硬件平台,而不需要维护不同的服务框架。这种广泛的硬件覆盖,正是 RadixArk 实现"让前沿 AI 的实现和使用尽可能普及"这一目标的核心所在。
通过与 DigitalOcean 和 AMD 合作,RadixArk 能够高效地针对生产环境对 DeepSeek V4 进行调试和问题排查------在 AMD Instinct MI350X/MI355X 上达到了每 GPU 每秒 3.5K token,并在 AMD 的联合工程努力下,通过 HIP graph 支持实现了约 10 倍的吞吐量提升。
获得可靠的硬件访问
为了"把 AI 送到每个人手里",RadixArk 需要专用 GPU 容量来在 DeepSeek V4 上运行 SGLang,无论是开发还是生产验证。DigitalOcean 的 AMD Instinct™ MI350X GPU Droplet云服务器让 SGLang 团队可以按需获得随时在线的硬件,无论是开发还是生产验证,几分钟内就能就绪。
RadixArk 的优先事项是在生产级的 AMD 推理上快速迭代,这意味着要在需要的那一刻拿到硬件,而不是排队等资源。RadixArk 创始团队成员 Harry He 说:"DigitalOcean 在我们需要的 AMD 硬件上有明确的可用性。"团队可以在几分钟内在 DigitalOcean 的全球数据中心网络中启动 GPU Droplet,然后直接进入交付阶段。
简化生产流程,提升性能
这套 GPU 设置必须支持 DeepSeek V4 Pro。这个模型有 1.6 万亿参数,需要跨多个节点运行,并且要有充裕的带宽来实现高吞吐量和低延迟。
据 RadixArk 负责 SGLang 多硬件和多模型团队的 Yihao Wang 介绍,根据 InferenceX 2026 年 6 月的公开排行榜,SGLang 目前在 AMD Instinct MI350X/MI355X GPU 上运行 DeepSeek V4 Pro(FP4),能做到每 GPU 每秒超过 3.5K token。
Wang 补充说:"对于多节点设置,DigitalOcean Droplet 的表现非常好。启动 Droplet 时,内部互联会自动配好,这对我们跨多个节点运行时是个很大的便利。"
部署模式非常直接:启动 GPU Droplet,SSH 进去,拉取 Docker 镜像,然后跑推理------全程没有托管编排层。
除了多节点访问,一次与 AMD 的联合工程努力带来了显著的性能提升。RadixArk 技术团队成员 Yusheng Su 表示:"AMD 加入了我们的联合开发工作,启用了 HIP graph 支持,这让吞吐量提升了大约 10 倍。"
因为 SGLang 在同一个代码库上同时支持 NVIDIA 和 AMD,这次优化不需要单独维护一个分支。在 NVIDIA 上跑 DeepSeek 的同一个引擎,现在在 AMD 上也能跑。与 AMD(包括 Hai Xiao 的团队)的联合工作还涵盖内核优化和多 token 预测,这加速了解码过程。RadixArk 目前运行着多个 DeepSeek V4 变体,包括 FP8 和 FP4。
加速前沿 AI 的普及
RadixArk 从一开始的目标,就是打造开放、随处可运行且经济高效的前沿 AI 基础设施。SGLang 正是这一理念在实践中的体现:一个推理引擎,能在任何硬件上服务任何开放模型,不需要为特定供应商维护分支。
团队持续扩展能在 AMD Instinct MI350X Droplet 上运行的工作负载,基于同一个 SGLang 引擎陆续适配了 GLM-5.1、DeepSeek V4 和 Kimi K2.6 等开放前沿模型。每个新模型都跑在已经验证过的基础设施上,所以技术路线图在扩展的同时,引擎本身并不会碎片化。
DigitalOcean 让这个循环跑得很快。除了原始的 GPU 容量,RadixArk 还拿到了一个广泛的模型库、受支持的推理能力,以及上线前用来调试的测试环境。DigitalOcean 维护着底层的 AMD 基础设施,出了问题发条 Slack 消息就能找到人,这意味着团队可以把时间花在模型上,而不是机器上。
He 总结道:"基于开源构建的全部意义,就在于你永远不会被锁定。一个 SGLang 代码库,就能在 NVIDIA 和 AMD 上同时服务 DeepSeek。不需要分支,不需要重写。DigitalOcean 给了我们在生产环境中证明这一点的容量,这样我们就能保持路线的开放性,让前沿模型跑在最适合它的硬件上。"
免责声明:本文中提及的任何第三方公司、商标或标识仅供参考,并不暗示与这些第三方存在任何关联、赞助或背书关系。