DigitalOcean 赋能 Character.ai:推理吞吐量翻倍,成本直降 50%

DigitalOcean 云平台(NYSE: DOCN) 凭借其推理云平台(Inference Cloud Platform)以及与 AMD 的软硬件深度协作,成功助力全球领先的 AI 娱乐平台 Character.ai 实现生产环境推理吞吐量的 ​2 倍增长​。Character.ai 运行着目前市场上需求最苛刻的生产推理任务,每日处理的查询量高达 10 亿次。

Character.ai 是全球领先的 AI 娱乐平台,拥有约 ​2,000 万用户​。Character.ai 的应用具有高容量、高并发且对延迟极度敏感的特点,其底层通过混合使用私有模型和开源模型来驱动。在将相关工作负载迁移至 DigitalOcean 推理云平台后,Character.ai 在严守延迟标准的同时,实现了请求吞吐量的飞跃。与标准的通用 GPU 基础设施相比,这一转型不仅将​**单 Token 成本降低了 50%**​,还为终端用户显著扩展了可用容量。

Character.ai 合作伙伴关系高级副总裁 David Brinker 表示,这一成果远超预期:"我们对 DigitalOcean 在性能、延迟和规模方面提出了极其严苛的要求。而 DigitalOcean 提供了极其稳定的性能,释放了更高的持续吞吐量并优化了经济模型,这为我们平台的持续增长提供了直接动力。"

这一里程碑式的进展也标志着 DigitalOcean 在服务 Character.ai 等大规模 AI 客户方面的势头愈发强劲,进一步支撑了平台的全球扩张及更丰富的多模态体验。

软硬一体化:深度协同的性能优化

DigitalOcean 与 Character.ai 及 AMD 紧密合作,部署了专为推理任务优化的 ​AMD Instinct™ MI300X 和 MI325X GPU ​云服务器​。在 DigitalOcean 的平台中,GPU 服务器不再只是被视为通用的硬件资源,而是通过其平台集成的"硬件感知调度"和"优化推理运行时",将每个节点的持续性能榨取到了极致。

AMD 在其开放的端到端 AI 软件栈 ROCm™ 上投入了巨资。通过三方的深度协作,各团队针对 Character.ai 在 DigitalOcean 平台上运行的 ​AMD Instinct™ MI300X 及 MI325X GPU ​,对 ROCm 配合 vLLM、AITER(AMD 专为 Transformer 工作负载打造的优化框架)以及部署配置进行了专项调优,最终实现了吞吐量的翻倍。

这种性能飞跃在处理超大规模 ​MoE ​​​ 模型​(例如 Qwen3-235B )时表现尤为卓越。通过 DigitalOcean 独特的分布式并行策略,单服务器的请求密度提升了近 91%,这意味着客户可以用更少的硬件支撑更多的并发用户。客户不仅可以节省成本,还能提升产品的表现。

AMD 人工智能高级副总裁 Vamsi Boppana 指出:"当平台侧与芯片侧团队深度联手解决实际生产痛点时,所迸发的潜力是巨大的。通过结合 AMD Instinct GPU、开放的 ROCm 软件栈以及 DigitalOcean 的平台级优化,我们正在为运行大规模、低延迟的生产级 AI 工作负载打造一个高性价比且可扩展的基石。"

在实际调优过程中,DigitalOcean 的工程师精准权衡了延迟、吞吐量与并发量。这些优化手段在相同延迟约束下将吞吐量提升了 2 倍,显著降低了客户的总体拥有成本(TCO)。

重定义大规模 AI 推理:不仅是算力,更是成果

这一成功案例体现了 DigitalOcean 的核心理念:GPU 固然重要,但最终的业务产出(Outcomes)才是一切。 DigitalOcean 致力于设计并运营能为客户提供极致稳定性与性能的系统。

事实上,DigitalOcean ​不仅提供GPU 算力​,更提供端到端的交付体验。其 Kubernetes 托管服务(DOKS) 预装了所有必需的驱动与优化组件,结合​DigitalOceanNFS ​​**(Managed Network File Storage)​,可使大模型的加载速度提升了 ​15%**​,确保企业能够实现"即时部署、即刻扩展"。

不同于其它仅强调"GPU 供应"的传统云厂商,DigitalOcean 的推理云平台专为 AI 生产环境而生。它提供了一个"硬件 + 软件统一范式",通过底层的统筹编排与系统级调优,为大规模生产级 AI 负载带来了卓越的性价比、可观测性和操作便利性。

DigitalOcean 首席执行官 Paddy Srinivasan 表示:"Character.ai 运行着全球最具挑战性的实时推理任务之一。这次合作有力地证明了,当顶尖硬件遇上专为推理设计的平台时,会产生怎样的化学反应。我们不只是在提供运行更快的模型,我们还在让大规模 AI 应用的运营变得更简单、更经济。"

Character.ai 的部署模式反映了 AI 基础设施评估标准的行业转型:随着推理规模的扩大,客户正逐渐将性能的可预测性、操作的极简性以及成本效率置于原始硬件参数之上。

相关推荐
SmartBrain9 小时前
Qwen3-VL 模型架构及原理详解
人工智能·语言模型·架构·aigc
快降重科研小助手16 小时前
AIGC降重技术如何“理解”并“重塑”你的论文
aigc·ai写作·降重·降ai率·快降重
AiTop10016 小时前
智谱开源GLM-OCR:0.9B小模型在复杂文档处理登顶SOTA
人工智能·ai·aigc
光影少年17 小时前
前端 AIGC
前端·aigc
小程故事多_8017 小时前
Elasticsearch ES 分词与关键词匹配技术方案解析
大数据·人工智能·elasticsearch·搜索引擎·aigc
Rolei_zl18 小时前
(AI生成) openClaw 的前世今生
llm·aigc
阿杰学AI18 小时前
AI核心知识82——大语言模型之AI Value Alignment(简洁且通俗易懂版)
人工智能·ai·语言模型·自然语言处理·aigc·机械学习·ai价值观对齐
快降重0219 小时前
AIGC降重全指南:从工具选择到完美定稿
人工智能·aigc·论文降重·ai降重·快降重
猫头虎19 小时前
2026全网最热Claude Skills工具箱,GitHub上最受欢迎的7大Skills开源AI技能库
langchain·开源·prompt·github·aigc·ai编程·agi
得一录19 小时前
智能家居多智能体系统LangGraph实现
aigc