DigitalOcean 赋能 Character.ai:推理吞吐量翻倍,成本直降 50%

DigitalOcean 云平台(NYSE: DOCN) 凭借其推理云平台(Inference Cloud Platform)以及与 AMD 的软硬件深度协作,成功助力全球领先的 AI 娱乐平台 Character.ai 实现生产环境推理吞吐量的 ​2 倍增长​。Character.ai 运行着目前市场上需求最苛刻的生产推理任务,每日处理的查询量高达 10 亿次。

Character.ai 是全球领先的 AI 娱乐平台,拥有约 ​2,000 万用户​。Character.ai 的应用具有高容量、高并发且对延迟极度敏感的特点,其底层通过混合使用私有模型和开源模型来驱动。在将相关工作负载迁移至 DigitalOcean 推理云平台后,Character.ai 在严守延迟标准的同时,实现了请求吞吐量的飞跃。与标准的通用 GPU 基础设施相比,这一转型不仅将​**单 Token 成本降低了 50%**​,还为终端用户显著扩展了可用容量。

Character.ai 合作伙伴关系高级副总裁 David Brinker 表示,这一成果远超预期:"我们对 DigitalOcean 在性能、延迟和规模方面提出了极其严苛的要求。而 DigitalOcean 提供了极其稳定的性能,释放了更高的持续吞吐量并优化了经济模型,这为我们平台的持续增长提供了直接动力。"

这一里程碑式的进展也标志着 DigitalOcean 在服务 Character.ai 等大规模 AI 客户方面的势头愈发强劲,进一步支撑了平台的全球扩张及更丰富的多模态体验。

软硬一体化:深度协同的性能优化

DigitalOcean 与 Character.ai 及 AMD 紧密合作,部署了专为推理任务优化的 ​AMD Instinct™ MI300X 和 MI325X GPU ​云服务器​。在 DigitalOcean 的平台中,GPU 服务器不再只是被视为通用的硬件资源,而是通过其平台集成的"硬件感知调度"和"优化推理运行时",将每个节点的持续性能榨取到了极致。

AMD 在其开放的端到端 AI 软件栈 ROCm™ 上投入了巨资。通过三方的深度协作,各团队针对 Character.ai 在 DigitalOcean 平台上运行的 ​AMD Instinct™ MI300X 及 MI325X GPU ​,对 ROCm 配合 vLLM、AITER(AMD 专为 Transformer 工作负载打造的优化框架)以及部署配置进行了专项调优,最终实现了吞吐量的翻倍。

这种性能飞跃在处理超大规模 ​MoE ​​​ 模型​(例如 Qwen3-235B )时表现尤为卓越。通过 DigitalOcean 独特的分布式并行策略,单服务器的请求密度提升了近 91%,这意味着客户可以用更少的硬件支撑更多的并发用户。客户不仅可以节省成本,还能提升产品的表现。

AMD 人工智能高级副总裁 Vamsi Boppana 指出:"当平台侧与芯片侧团队深度联手解决实际生产痛点时,所迸发的潜力是巨大的。通过结合 AMD Instinct GPU、开放的 ROCm 软件栈以及 DigitalOcean 的平台级优化,我们正在为运行大规模、低延迟的生产级 AI 工作负载打造一个高性价比且可扩展的基石。"

在实际调优过程中,DigitalOcean 的工程师精准权衡了延迟、吞吐量与并发量。这些优化手段在相同延迟约束下将吞吐量提升了 2 倍,显著降低了客户的总体拥有成本(TCO)。

重定义大规模 AI 推理:不仅是算力,更是成果

这一成功案例体现了 DigitalOcean 的核心理念:GPU 固然重要,但最终的业务产出(Outcomes)才是一切。 DigitalOcean 致力于设计并运营能为客户提供极致稳定性与性能的系统。

事实上,DigitalOcean ​不仅提供GPU 算力​,更提供端到端的交付体验。其 Kubernetes 托管服务(DOKS) 预装了所有必需的驱动与优化组件,结合​DigitalOceanNFS ​​**(Managed Network File Storage)​,可使大模型的加载速度提升了 ​15%**​,确保企业能够实现"即时部署、即刻扩展"。

不同于其它仅强调"GPU 供应"的传统云厂商,DigitalOcean 的推理云平台专为 AI 生产环境而生。它提供了一个"硬件 + 软件统一范式",通过底层的统筹编排与系统级调优,为大规模生产级 AI 负载带来了卓越的性价比、可观测性和操作便利性。

DigitalOcean 首席执行官 Paddy Srinivasan 表示:"Character.ai 运行着全球最具挑战性的实时推理任务之一。这次合作有力地证明了,当顶尖硬件遇上专为推理设计的平台时,会产生怎样的化学反应。我们不只是在提供运行更快的模型,我们还在让大规模 AI 应用的运营变得更简单、更经济。"

Character.ai 的部署模式反映了 AI 基础设施评估标准的行业转型:随着推理规模的扩大,客户正逐渐将性能的可预测性、操作的极简性以及成本效率置于原始硬件参数之上。

相关推荐
手写码匠5 小时前
注意力机制全家桶:从 Multi-Head 到 GQA 再到 Flash Attention 的手写实现
人工智能·深度学习·算法·aigc
leeyi5 小时前
Eino 的“你好世界“背后发生了什么(第48篇-E34)
aigc·agent·ai编程
FogLetter5 小时前
告别“一次性Prompt”:当AI学会“手艺活”,Skill才是智能体的终极进化
aigc·openai
怕浪猫7 小时前
第12章 实战项目四:电商销售与服务Agent
aigc·openai·ai编程
AI袋鼠帝11 小时前
再见Fable 5,OpenAI出手了!GPT-5.6真香~
aigc·openai
小林ixn1 天前
手写AI编程Agent:从0到1复刻Trae/Cursor的核心能力
人工智能·aigc·ai编程
谙忆10241 天前
同一个 prompt 每次出图都不一样?讲讲文生图的随机性和可复现
人工智能·aigc
Rolei_zl1 天前
AIGC(生成式AI)试用 54 -- 简单代码解析
人工智能·aigc
leeyi1 天前
让 Agent 说中文:Prompt 模板怎么管理(第47篇-E33)
aigc·agent·ai编程