技术栈
aiter
DO_Community
4 小时前
人工智能
·
算法
·
llm
·
aigc
·
moe
·
aiter
技术解码：Character.ai 如何实现大模型实时推理性能 2 倍提升
Character.ai 是一家领先的 AI 娱乐平台，全球用户约 2000 万。Character.ai 团队希望提升 GPU 性能，并降低推理成本。其应用需要在大规模场景下保持极低延迟。为实现这一目标，Character.ai 找到了 DigitalOcean 和 AMD。三方紧密合作，对 AMD Instinct™ MI300X 和 MI325X GPU 平台进行了深度优化，使生产环境的推理吞吐量提升了 2 倍。
我是有底线的