核心+分布式+边缘三层联动,Akamai AI 推理云打造毫秒级AI推理平台

当推理成为人工智能的运营核心,融入每一次用户交互、每一个应用工作流,并渗透至所有由智能体驱动的体验中,Agentic web 需要本地的、分布式的、且对毫秒级性能约束敏感的计算资源。

Akamai 的平台分析显示,仅10-15毫秒的额外延迟就可能增加关键零售流程中的用户放弃率。

为了将推理推向离用户更近的地方,减少对集中式云区域的依赖,**Akamai Inference Cloud(Akamai AI 推理云)**应运而生。

Akamai Inference Cloud

(Akamai AI 推理云)

「三层分布式架构」


该层级搭载为吞吐量和复杂模型优化的高端 GPU,聚焦算力密集型工作负载,承担大规模模型训练、模型微调工作,同时支撑对精度和算力有极致要求的专项"一次性"推理计算,为下游所有分布式推理环节打造、优化并输出基础智能模型,是整个 AI 推理云的智能底座。

该执行层是实时推理、智能体化工作流及低延迟敏感型应用的关键支撑。Akamai 在全球网络部署含NVIDIA Blackwell 架构 RTX PRO™ 6000 的 GPU 硬件,通过地理分布式部署将算力落地人口密集区,实现推理工作负载毫秒级响应,有效降延迟、提并发,大幅减少长距离网络传输。

该层级在推理硬件接收请求前完成全流程前置处理,验证分类入站请求、过滤威胁与异常行为,智能匹配最优 GPU 节点; 同时处理令牌安全与隐私敏感流量,动态调度跨节点工作负载,确保推理请求可信、高效、安全地分发至分布式 GPU 资源。


Akamai AI 推理云的应用场景AI 正超越孤立的提示-响应交互模式,演变为持续的嵌入式能力,成为支撑全网所有每用户体验的核心底层技术。Akamai AI 推理云的三层架构,为构建一个 AI 全时在线、全域可达的智能世界奠定了坚实基础。

点击此处,可进一步了解 Akamai AI 推理云。

相关推荐
Joshua-a35 分钟前
工程数学-理解卷积的含义_线性时不变系统的冲激响应与卷积
人工智能·深度学习
song50142 分钟前
React Native for OpenHarmony 实战:三方库 react-native-css-transformer 的鸿蒙化适配指南
css·人工智能·深度学习·react native·transformer
老金带你玩AI5 小时前
ChatGPT dots,到底能替你操多少心?
人工智能
AliCloudROS6 小时前
计算巢 X DeepSeek Harness — 云端智能体工作台
人工智能·阿里云
深蓝AI6 小时前
GitHub的Push一年涨4.9倍:AI Agent为什么逼它重做Git存储?
人工智能·github
stereohomology6 小时前
大模型的观点谨:StoryTold 「Crafting Apps」四件套 · 深度总览
人工智能·llm
运维行者_7 小时前
网络性能监控怎么做?从自动发现到根因分析的4个环节
运维·服务器·网络·人工智能·支持向量机
Su米苏7 小时前
Spring AI 中MCP 与普通 @Tool的区别
java·人工智能·spring
美狐美颜sdk7 小时前
直播APP源码可以直接接入视频美颜sdk吗?技术方案详解
android·人工智能·音视频·美颜sdk·直播美颜sdk
问商十三载7 小时前
AI引擎生成式优化实践:刑事辩护律师团队IP构建
大数据·人工智能