如果你问这个行业的人"超大规模"是什么意思，你会得到大致相同的答案：超大型数据中心。 数百兆瓦的电力、数万个图形处理器、堪比小镇规模的园区。
在过去的几年里，这个定义成为了人工智能繁荣的默认蓝图。 这很有道理，因为训练前沿模型确实需要大量资金。 培训是一个规模化的问题。 你希望计算能力高度集中、紧密互联，并尽可能靠近可用的电力资源。 关键就在于密度。
但训练只是热身而已。 模型已经存在，行业开 始面临的问题是，要真正实现它们在任何地方、任何时间、针对任何任务的全面应用，需要做些什么。 这是一个推理问题，而推理并不需要相同的架构。
如您所在的企业也在考虑采购云服务或进行云迁移，
点击链接了解 AkamaiLinode 解决方案，现在申请试用可得高达 5000 美元专属额度。
代理商正在改变数学运算方式
推动这一转变的是从聊天向代理的转变，而明确两者之间的区别是非常有必要的。
聊天式大型语言模型是一个由人类用户发起请求并耐心等待响应的系统。 用户输入一个问题，稍等片刻，就能看到答案。 交通模式受人类注意力持续时间的限制，延迟一秒钟基本不会被察觉。 你可以从少数几个大型云区域来处理这些工作负载，没有人会对此有任何抱怨。
代理人可不是这么工作的。 完成任务的代理可能需要进行数十次或数百次推理调用：规划步骤、调用工具、检查结果、决定下一步行动，有时甚至将任务移交给另一个代理，由后者重复整个过程。 没有人会在这些通话之间介入来吸收延迟；相反，延迟会不断累积。 如果每次跳转到远程区域的往返时间需要 200 毫秒，那么一个包含 20 个步骤的工作流程每天运行数百万次，就会有 4 秒的时间被浪费在无意义的操作上。
其规模之大，让人难以忽视。 IDC 预测，到 2029 年，全球积极部署的 AI 代理数量将超过 10 亿，约为 2025 年数量的 40 倍。 IDC还预计这些代理每天执行超过2170亿次操作，每天消耗3.7 teratokens (即3,700,000,000,000个令牌和呼叫)，以满足仍在扩大的推理负载。
在未来的任何情境下，这些呼叫都不可能全部回流到几个超大区域。 延迟会导致性能瓶颈，而经济成本比延迟问题更为严重。
对于聊天流量来说，数据传输和长途传输成本几乎可以忽略不计，但每天2.17亿次操作却让这些成本成为了一项实实在在的支出。 而且，代理商接触到的许多信息（如销售终端系统、工厂车间和患者记录）都涉及到一些不能出国或不该流出所在大楼的数据。 这并不是集中式超大规模架构所能适应的未来。
那么超大规模究竟意味着什么？
在一个由代理驱动的世界里，答案与质量关系不大，却与速度密切相关。 比尺寸更易于触及的东西。 关键指标正在发生变化，从"你能在一个地方部署多少兆瓦"转变为"你能在多少个地方部署推理能力"------哪些城市、哪些国家，以及与数据、用户和执行任务的代理人有多近。
推理能力正逐渐分布在区域数据中心、城市边缘站点和国内独立部署等多个地点，这种分布式架构的重要性已超越任何单一的核心园区。
这是一个规模扩张的故事，也是对过去十年的一种颠覆。 集中化的群众组织使训练成为可能。 接近性让推理变得切实可行。
要实现这一点需要什么？
对于基础设施运营商以及基于这些基础设施构建人工智能应用的团队来说，有一些问题是必须解决的。
首先是灵活性。 代理人的需求不会平均分布，也不会保持稳定。 它会在某个地区激增，在另一个地区降温，并随着模型和工作负载的变化而变化。 无论你建造什么，都必须让产能随需求变化而调整，而不是被固定在某个特定的建筑地点。
由于上述原因，延迟是第二个问题。 为了使代理能够发挥作用，必须将推理过程与行动紧密结合，而"紧密"意味着需要部署数十甚至数百个地点，而不仅仅是四五个关键区域。
而成本必须在规模扩大时保持稳定，这一点很难做到。 任何人都能够以实惠的价格购买到低延迟服务。 关键在于将系统部署在那些随着代币数量增加而保持成本效益的地点，这些地点应具备合适规模的设施、合理的电力成本和更短的数据路径，这样您就不必为每次常规代理调用支付高昂的区域费用。
建筑的启示
如果你的 AI 策略假设所有推理都集中回传到一两个中心化云端，那么你设计的架构就只适用于聊天机器人时代。 与此同时，代理时代的发展速度已经超出了您现有架构所能支持的范围。 未来五年内成功的应用将从一开始就将分发视为一项核心设计约束，包括：具备延迟感知能力的路由、多地点模型服务、尊重本地性的数据管道，以及专为代理规模数据量设计的成本模型。
规模化时代为我们提供了模型。 接下来会发生什么完全取决于推断，而推断则需要分布式架构。 超大规模数据中心并没有缩小规模。 它正在被彻底重新定义。
过去十年的衡量标准是，你能将多少算力集中在同一个地方。 未来十年的衡量标准就是看你能多有效地分配它。 在代理时代，真正的规模已不再以足迹大小来衡量，而是以足迹与目标的接近程度来衡量。
如您所在的企业也在考虑采购云服务或进行云迁移，
点击链接了解 AkamaiLinode 解决方案，现在申请试用可得高达 5000 美元专属额度。