使用 F5 NGINX Gateway Fabric 实现 AI 交付标准化

原文作者:Karthik Krishnaswamy-F5 Director Product Marketing

原文链接:​使用 F5 NGINX Gateway Fabric 实现 AI 交付标准化

转载来源:​NGINX 中文社区

NGINX 唯一中文官方社区 ,尽在 ​nginx.org.cn


企业正在快速从 AI 实验阶段迈向 AI 运营阶段。这一转变正在改变组织对应用交付基础设施的需求。

多年来,Kubernetes 流量管理通常被视为一种技术实现细节。平台团队选择 Ingress Controller,应用团队配置路由,安全团队则在力所能及的范围内添加控制措施。当主要挑战是提供 Web 应用和 APIs 服务时,这种模式尚可运转。但如今,当同一个平台必须同时支撑现代应用、分布式 APIs、安全策略,以及消耗稀缺且昂贵算力的 AI 推理工作负载时,这种模式已不再够用了。

《2026 F5 应用策略现状报告》展示了这一问题为何在当下如此重要:78% 的组织正在自行运营 AI 推理服务,52% 的组织正在使用多模型编排来适应和扩展其 AI 模型。从实际情况来看,企业已经不仅仅是通过单一服务调用单一模型,而是在多个环境中运行推理任务,协调多个模型,并将 AI 纳入生产应用架构之中。

AI 为企业长期存在的一个挑战带来了新的紧迫性:如何在保持治理、安全性和运营一致性的同时,为团队提供所需的速度。

F5 NGINX Gateway Fabric 通过整合三项重要能力来帮助回答这一问题:符合 Gateway API 1.5 标准、集成F5 WAF for NGINX,以及支持 Gateway API Inference Extension。这些能力共同指向一种更加标准化、安全且面向 AI 的 Kubernetes 流量管理方式。

"网关(gateway)已不再只是将流量引入集群的入口。它正在演变为现代应用、APIs 和 AI 服务大规模场景下进行交付、安全防护和运营管理的核心控制点。"

为什么标准很重要

Gateway API 正在成为 Kubernetes 流量管理领域的一项重要标准,因为它解决了企业中一个常见挑战:太多团队以不同方式解决同一个问题。

传统的 Ingress 方式通常高度依赖特定实现的 annotation 和自定义配置。这种方式对单个团队来说可能有效,但在企业级规模下会变得更难治理。策略难以审计,迁移路径也会变得更加复杂。平台团队难以做到在不失去控制权的情况下提供自助服务。应用团队可以快速推进,但整体运维模式却会变得碎片化。

Gateway API 引入了一种更加面向角色、符合 Kubernetes 原生理念的模型。平台团队可以管理共享的 Gateway 基础设施。应用团队可以为自己的服务定义路由。安全团队和运维团队能够获得更清晰的结构,以应用和管理策略。其价值不仅仅在于技术设计上的优雅,更在于提供了一种更清晰的运维模式。

在这一背景下,NGINX Gateway Fabric遵从Gateway API 1.5 规范变得尤为重要。一致性认证并不意味着所有实现都完全相同,也不会消除架构决策的必要性。但它确实让企业更有信心,相信自己正在基于一个日趋成熟、并经过 Kubernetes 生态系统广泛测试的标准和规范进行构建。

其意义非常明确。标准能够减少可避免的复杂性,使平台决策更容易在不同团队和集群之间进行扩展。它们降低了所有工作流被锁定在某种专有模式的风险,并为长期现代化演进奠定基础,使团队能够采用更新的流量管理模式,而无需强制所有应用同时迁移。

这一点之所以重要,是因为在大型企业中,Kubernetes 很少只涉及单一集群。组织通常会在不同业务部门、区域、开发阶段以及云环境中运行多个集群。如果没有统一的方法,每个集群都可能逐渐变成一个独立的例外。通过 NGINX Gateway Fabric 实现的 Gateway API,为平台团队提供了一条既能保持一致性、又不会拖慢应用交付速度的路径。

将安全能力融入应用运行环境

安全防护通常在融入平台架构时效果最佳,而不是在应用部署完成后再补充进去。在 Kubernetes 环境中尤为突出NX Gateway Fabric 与 F5 WAF for NGINX 的集成,将企业级应用安全能力进一步靠近 Kubernetes Gateway 层。通过这一集成,安全团队可以定义并管理应用防护策略,平台团队则通过 Kubernetes 原生工作流使这些防护措施生效。

其业务价值并不在于要求每位 IT 负责人都需要理解策略如何被挂载的技术细节。它真正的价值在于,安全团队可以持续掌控防护策略,而平台团队和应用团队仍能够保持快速交付。

这种职责分离至关重要。如果安全依赖于每个应用团队都正确实施控制措施,企业最终将承担不一致的安全防护结果。如果安全流程拖慢每一次发布,团队就会想办法绕开它。更好的模式是共享治理:安全团队负责定义和管理策略,平台团队提供策略执行点,而应用团队则持续交付软件。

随着越来越多面向客户的应用程序、APIs 和具备 AI 能力的服务迁移到 Kubernetes 环境,这一点变得尤为重要。随着平台战略地位的提升,其风险面也随之扩大。Web 应用攻击、错误配置、未受管理的路由以及不一致的安全态势,这些不仅是技术问题,也逐渐成为业务连续性、合规性和企业声誉方面的问题。

网关级 WAF 模型并不能替代安全开发实践或更广泛的应用安全计划。但它为组织提供了一层贴近应用交付位置的实际执行防护层。这意味着安全能力可以成为平台架构的一部分,而不再是一个需要跟进每次部署的独立流程。

为 AI 推理做好准备

AI 推理改变了流量管理方式,因为 AI 工作负载的行为模式不同于传统 Web 请求。

传统 Web 请求通常生命周期短、相对可预测。而推理请求在处理时长、负载大小、成本以及资源消耗方面可能存在显著差异。单个请求可能会占用昂贵的 GPU 计算资源。针对不同任务,可能会使用多个模型。有些模型可能针对成本进行优化,有些针对性能进行优化,还有些针对准确性进行优化。路由决策会影响用户体验、基础设施利用率以及运营成本。

这正是 Gateway API Inference Extension 重要的原因。它支持基于模型感知的路由,可以根据模型版本、模型类型以及成本与性能特征进行请求分发。借助 NGINX Gateway Fabric 的支持,组织可以在提升用户体验和基础设施利用率的同时,将价值较低或对延迟要求较低的请求路由至成本效率更高的模型。

关键并不在于底层调度机制,而在于 AI 交付需要具备成熟的运营能力。当 78% 的组织正在自行运营 AI 推理时,推理已经不再只是数据科学领域的问题,而成为企业应用交付体系的一部分。而当 52% 的组织采用多模型编排时,流量管理也必须适应更加动态的 AI 环境。

NGINX Gateway Fabric 对 Inference Extension 的支持,帮助平台团队和机器学习团队将 AI 工作负载纳入熟悉的 Kubernetes 运维模式。企业无需为 AI 创建一套单独的交付架构,而是可以采用符合标准的网关方式,将 AI 服务与应用程序和 APIs 一并管理起来。

这并不意味着所有企业在 AI 方面面临的挑战都能通过网关解决。模型治理、数据治理、安全测试、成本管理以及合规要求,仍然需要更广泛的控制措施。但路由是 AI 生产环境中的基础组成部分。如果请求无法被高效分发,如果基础设施信号被忽视,或者每个团队都自行构建推理访问路径,复杂性会迅速加剧。

最重要的转变体现在架构层面:AI 正在成为另一类生产工作负载,需要安全、可观测且策略驱动的交付方式。

面向 AI 时代的现代应用交付

NGINX Gateway Fabric 不应仅仅被看作 Kubernetes 网络组件,而应将其视为现代应用交付这一更广泛平台战略的一部分。

把Gateway API 1.5 一致性标准、F5 WAF for NGINX 集成以及 Inference Extension 支持结合起来之所以重要,在于它围绕三个关键优先事项展开:

• 标准化:基于不断成熟的社区标准统一 Kubernetes 流量管理方式,减少碎片化。

• 安全性:在 Kubernetes 应用暴露位置的附近实施企业级应用防护。

• AI 就绪:为推理工作负载的交付层做好准备,以应对相比传统服务更加动态、更高资源消耗且更关键的业务场景。

实际收益在于形成更加一致的运营模式。平台工程团队可以提供共享基础设施和自助服务模式。应用团队无需自行设计流量模型,即可更快速地推进开发。安全团队可以通过既有的控制措施应用策略。机器学习团队可以将推理工作负载纳入 Kubernetes 体系,而无需为 AI 交付单独搭建一套一次性的架构。

这一点之所以重要,是因为下一阶段的 AI 应用落地,不会仅通过一个组织启动了多少试点项目来衡量,而将取决于 AI 驱动的应用在生产环境中运行得有多可靠、多安全、多高效。

许多企业已经具备所需基础条件:Kubernetes 平台、应用交付基础设施、安全体系、AI 项目,以及负责这些领域的团队。真正的挑战在于以一种可扩展的方式,将这些能力整合起来。NGINX Gateway Fabric 的价值就在于,为企业提供一个符合标准的 gateway 层,使其能够同时支撑传统应用、APIs、安全策略以及新兴的 AI 推理模式。

这是一种切实可行的价值主张。组织无需从零开始,也无需彻底重构其应用交付架构。它们可以推动 Kubernetes 流量管理逐步演进,形成更加一致、更安全,并且更适合 AI 工作负载的模式。它为企业提供了一条路径,使 Kubernetes 流量管理逐步迈向更加一致、更安全、更适合 AI 工作负载的模式。

随着 AI 更深入地融入企业应用,基础设施层面的讨论也必须随之演进。网关不再只是将流量引入集群,而正在成为现代应用、APIs 和 AI 服务在大规模环境下进行交付、保护和运营的控制点。

如需了解更多信息,请访问 F5 NGINX Gateway Fabric 网页。

相关推荐
JJJennie77717 小时前
【AI 网关】七类网关方案横向测评|MAI Gateway 会带来什么不同
人工智能·大模型·gateway·ai网关·魔芋ai
翔云1234561 天前
在nginx中,proxy_next_upstream off是什么含义
nginx
虎王物联1 天前
Nginx反向代理实现IoT设备HTTPS接入:从证书配置到MQTT over WebSocket实战
运维·物联网·nginx·https
Linux-lucky2 天前
28-Linux学习之旅之Maven与Nexus制品库
linux·运维·学习·nginx·tomcat·maven
Raas1002 天前
企业AI网关哪个好?MAI Gateway(魔芋企业级AI网关)入选2026年企业AI网关推荐清单
网络·人工智能·gateway·企业·ai网关·mai gateway
小波波啊2 天前
nginx 转发超时故障排查实录
运维·nginx
Raas1002 天前
大模型网关和API网关区别是什么?MAI Gateway统一AI流量治理
java·大数据·运维·人工智能·gateway·企业级·ai网关
陈皮波比茶2 天前
Nginx
nginx
mengge.cloud2 天前
0824LAMP项目实战:部署WordPress博客平台小白教程
android·linux·运维·服务器·学习·nginx