DigitalOcean 赋能 Character.ai:推理吞吐量翻倍,成本直降 50%

DigitalOcean 云平台(NYSE: DOCN) 凭借其推理云平台(Inference Cloud Platform)以及与 AMD 的软硬件深度协作,成功助力全球领先的 AI 娱乐平台 Character.ai 实现生产环境推理吞吐量的 ​2 倍增长​。Character.ai 运行着目前市场上需求最苛刻的生产推理任务,每日处理的查询量高达 10 亿次。

Character.ai 是全球领先的 AI 娱乐平台,拥有约 ​2,000 万用户​。Character.ai 的应用具有高容量、高并发且对延迟极度敏感的特点,其底层通过混合使用私有模型和开源模型来驱动。在将相关工作负载迁移至 DigitalOcean 推理云平台后,Character.ai 在严守延迟标准的同时,实现了请求吞吐量的飞跃。与标准的通用 GPU 基础设施相比,这一转型不仅将​**单 Token 成本降低了 50%**​,还为终端用户显著扩展了可用容量。

Character.ai 合作伙伴关系高级副总裁 David Brinker 表示,这一成果远超预期:"我们对 DigitalOcean 在性能、延迟和规模方面提出了极其严苛的要求。而 DigitalOcean 提供了极其稳定的性能,释放了更高的持续吞吐量并优化了经济模型,这为我们平台的持续增长提供了直接动力。"

这一里程碑式的进展也标志着 DigitalOcean 在服务 Character.ai 等大规模 AI 客户方面的势头愈发强劲,进一步支撑了平台的全球扩张及更丰富的多模态体验。

软硬一体化:深度协同的性能优化

DigitalOcean 与 Character.ai 及 AMD 紧密合作,部署了专为推理任务优化的 ​AMD Instinct™ MI300X 和 MI325X GPU ​云服务器​。在 DigitalOcean 的平台中,GPU 服务器不再只是被视为通用的硬件资源,而是通过其平台集成的"硬件感知调度"和"优化推理运行时",将每个节点的持续性能榨取到了极致。

AMD 在其开放的端到端 AI 软件栈 ROCm™ 上投入了巨资。通过三方的深度协作,各团队针对 Character.ai 在 DigitalOcean 平台上运行的 ​AMD Instinct™ MI300X 及 MI325X GPU ​,对 ROCm 配合 vLLM、AITER(AMD 专为 Transformer 工作负载打造的优化框架)以及部署配置进行了专项调优,最终实现了吞吐量的翻倍。

这种性能飞跃在处理超大规模 ​MoE ​​​ 模型​(例如 Qwen3-235B )时表现尤为卓越。通过 DigitalOcean 独特的分布式并行策略,单服务器的请求密度提升了近 91%,这意味着客户可以用更少的硬件支撑更多的并发用户。客户不仅可以节省成本,还能提升产品的表现。

AMD 人工智能高级副总裁 Vamsi Boppana 指出:"当平台侧与芯片侧团队深度联手解决实际生产痛点时,所迸发的潜力是巨大的。通过结合 AMD Instinct GPU、开放的 ROCm 软件栈以及 DigitalOcean 的平台级优化,我们正在为运行大规模、低延迟的生产级 AI 工作负载打造一个高性价比且可扩展的基石。"

在实际调优过程中,DigitalOcean 的工程师精准权衡了延迟、吞吐量与并发量。这些优化手段在相同延迟约束下将吞吐量提升了 2 倍,显著降低了客户的总体拥有成本(TCO)。

重定义大规模 AI 推理:不仅是算力,更是成果

这一成功案例体现了 DigitalOcean 的核心理念:GPU 固然重要,但最终的业务产出(Outcomes)才是一切。 DigitalOcean 致力于设计并运营能为客户提供极致稳定性与性能的系统。

事实上,DigitalOcean ​不仅提供GPU 算力​,更提供端到端的交付体验。其 Kubernetes 托管服务(DOKS) 预装了所有必需的驱动与优化组件,结合​DigitalOceanNFS ​​**(Managed Network File Storage)​,可使大模型的加载速度提升了 ​15%**​,确保企业能够实现"即时部署、即刻扩展"。

不同于其它仅强调"GPU 供应"的传统云厂商,DigitalOcean 的推理云平台专为 AI 生产环境而生。它提供了一个"硬件 + 软件统一范式",通过底层的统筹编排与系统级调优,为大规模生产级 AI 负载带来了卓越的性价比、可观测性和操作便利性。

DigitalOcean 首席执行官 Paddy Srinivasan 表示:"Character.ai 运行着全球最具挑战性的实时推理任务之一。这次合作有力地证明了,当顶尖硬件遇上专为推理设计的平台时,会产生怎样的化学反应。我们不只是在提供运行更快的模型,我们还在让大规模 AI 应用的运营变得更简单、更经济。"

Character.ai 的部署模式反映了 AI 基础设施评估标准的行业转型:随着推理规模的扩大,客户正逐渐将性能的可预测性、操作的极简性以及成本效率置于原始硬件参数之上。

相关推荐
avi91112 小时前
UnityProfiler游戏优化-举一个简单的Editor调试
游戏·unity·游戏引擎·aigc·vibe coding·editor扩展
GISer_Jing4 小时前
AI学习资源总结:免费开放,入门至深入,持续更新
人工智能·学习·设计模式·prompt·aigc
aitoolhub4 小时前
PPT在线制作:如何用模板提升内容输出效率
人工智能·aigc·powerpoint·ppt·视觉传达
Mintopia5 小时前
🤖 未来软件表现形式的猜想:帮你直接做你想做的,给你直接要你想要的
人工智能·架构·aigc
用户5191495848456 小时前
深入解析CVE-2025-59528:Flowise中的高危远程代码执行漏洞
人工智能·aigc
REDcker7 小时前
AIGCJson 库介绍与使用指南
c++·json·aigc·c
jacky25717 小时前
衍射光波导与阵列光波导技术方案研究
aigc·ar·xr·ai编程·仿真·混合现实·光学设计
七牛云行业应用18 小时前
重构实录:我删了 5 家大模型 SDK,只留了 OpenAI 标准库
python·系统架构·大模型·aigc·deepseek
mantch18 小时前
Nano Banana进行AI绘画中文总是糊?一招可重新渲染,清晰到可直接汇报
人工智能·aigc