欢迎关注订阅专栏:未来已来,只需一句指令,养龙虾专栏导航,持续更新ing...
github地址:https://github.com/alibaba/higress
第一章:核心使用场景
- Higress 的 AI 网关能力支持国内外所有主流模型供应商和基于 vllm/ollama 等自建的 DeepSeek 模型。同时,Higress 支持通过插件方式托管 MCP (Model Context Protocol) 服务器,使 AI Agent 能够更容易地调用各种工具和服务。
- 借助 openapi-to-mcp 工具,可以快速将 OpenAPI 规范转换为远程 MCP 服务器。Higress 提供了对 LLM API 和 MCP API 的统一管理。
先看一个表格:
| 技术环节 | 传统方案 | Higress 方案 |
|---|---|---|
| API规范 | OpenAPI(需AI自行解析) | 自动转MCP(工具直接生成AI可读格式) |
| 能力扩展 | 每个工具单独写鉴权/限流 | 统一通过Higress插件管理(1处配置全局生效) |
| 动态更新 | 重启服务(导致AI对话中断) | Wasm插件热更新(改代码不掉线) |
💡 核心创新 :
Higress 把"封装MCP服务"从"开发任务"变成"配置任务" ,
用openapi-to-mcp工具+Higress插件机制,让传统API瞬间变成AI友好服务。
⚡ 第二章:从OpenAPI到AI可用的MCP服务
✅ 步骤1:用 openapi-to-mcp 工具自动转换
(无需改一行代码,生成MCP描述)
bash
# 你的OpenAPI文件(如stock-api.yaml)
openapi-to-mcp --input stock-api.yaml --output stock-mcp.yaml
💡 转换原理 :
工具自动解析OpenAPI的
parameters和responses,
按MCP规范重组为AI可理解的结构(如输入参数名、输出格式)。
✅ 步骤2:在Higress控制台托管MCP服务器
(点几下鼠标,不用写后端代码)
- 进入Higress控制台(
http://localhost:8001) - 上传
stock-mcp.yaml - 一键启动MCP服务
🌐 效果 :
现在AI Agent可以直接调用:
tool_call("stock_query", symbol="00700")
无需知道后端是HTTP/REST还是gRPC!
✅ 步骤3:Higress自动接管所有"周边能力"
(统一管理,无需重复开发)
| 传统开发痛点 | Higress 自动解决 |
|---|---|
| 鉴权逻辑重复写 | 通过Higress插件统一配置(如JWT) |
| 限流防滥用 | 1行配置速率限制(如100次/分钟) |
| 调用日志难追踪 | 自动记录审计日志(谁调用了什么) |
| 修改接口需重启服务 | Wasm插件动态更新(改逻辑不中断流量) |
💡 关键优势 :
MCP服务托管在Higress上,本质是"插件化" ------你不用管服务器,Higress自动处理认证、限流、日志,
AI Agent只关心调用,不用关心实现。
🏦第三章:AI 网关在银行场景的应用
-
在介绍 Higress 的具体能力前,先理清一个关键概念------AI 网关。
很多人会觉得 AI 网关是全新的产品,其实不然:AI 网关的本质依然是 API 网关,核心区别在于"AI 原生"------在这样的网关里,AI 相关场景被作为核心需求来设计,无论是 API 的研发、供应、消费,还是观测监控,都围绕 AI 场景的特点做了针对性优化,演变出传统 API 网关不具备的专属能力。
-
对于银行信息系统而言,传统 API 网关的基础功能(如路由、认证、限流)在常规业务场景下依然适用,但随着银行 AI 化转型(如智能风控、智能客服、智能营销)的推进,传统网关已无法满足 AI 业务的特殊需求。Higress 在此基础上,扩展了更多适配 AI 业务的能力,比如多模型对接、AI 流量管控、工具调用托管等,可支撑银行 AI 应用的开发、部署与运维,让银行 AI 业务落地更高效、更安全。
银行信息系统适配 Higress 网关能力如下表所示:
| 核心优势 | 关键特性 | 银行场景价值 |
|---|---|---|
| 1. 生产等级稳定可靠 | • 高并发支撑 :经阿里内部验证,支持每秒数十万级请求。• 平滑热更新:摆脱 Nginx reload 流量抖动,配置毫秒级生效。 | 保障核心交易与支付结算连续性,避免因网关故障导致的交易失败或资金风险,确保客户体验无感。 |
| 2. 流式处理高效省资源 | • 完全流式处理 :支持请求/响应 Body 流式处理。• 协议适配:借助 Wasm 插件自定义处理 SSE 等流式协议。 | 显著降低内存开销,提升高峰时段(如批量查询、支付洪峰)的响应速度,避免业务卡顿。 |
| 3. 易于扩展灵活适配 | • 丰富插件库 :涵盖 AI 管控、合规审计等,覆盖 90% 场景。• Wasm 沙箱隔离:支持多语言,插件独立升级,流量无损热更新。 | 满足业务快速迭代需求,更新插件无需停服,灵活支撑新业务上线与旧系统优化。 |
| 4. 安全易用契合合规 | • 开箱即用 :内置 WAF、IP/CC 防护,支持 Let's Encrypt 自动证书。• 部署灵活:遵循标准 API,支持脱离 K8s 单行命令部署。 | 有效抵御 SQL 注入等攻击,满足金融数据加密合规要求,降低运维门槛与成本。 |
Higress 适配银行信息系统的多类场景概览
Higress 的功能全面,可覆盖银行信息系统的多种主流场景,无论是 AI 智能业务、微服务集群、K8s 部署,还是安全防护,都能轻松应对,助力银行技术架构优化、业务高效落地。
| 场景分类 | 核心功能与特性 | 银行应用价值 |
|---|---|---|
| AI 网关 | • 统一 LLM 接入 :对接主流模型及自建模型(vllm/ollama)• AI 专属能力 :可观测性、多模型负载均衡/Fallback、Token 流控、AI 缓存• MCP 托管:支持插件化托管 MCP 服务器,提供统一鉴权、审计与速率限制 | 降低 AI 开发成本,保障智能风控、客服业务连续性,满足 AI 工具调用的安全合规与审计需求。 |
| K8s Ingress 网关 | • 平滑迁移 :兼容 Nginx Ingress 注解,支持 Gateway API 标准• 高性能:基于 Envoy 内核,资源开销低,路由生效快(提升10倍) | 助力银行云原生转型,实现从 Nginx 到 Higress 的无感迁移,降低运维成本,提升集群性能。 |
| 微服务网关 | • 多注册中心适配 :支持 Nacos, ZooKeeper, Consul, Eureka 等• 深度集成 :融合 Dubbo、Sentinel 等主流技术栈• 高性能内核:C++ 编写,相比 Java 网关更省资源 | 适配银行复杂微服务架构,自动发现服务减少运维工作量,显著降低服务器硬件与运维成本。 |
| 安全防护网关 | • WAF 防护 :抵御 SQL 注入、XSS、恶意爬虫• 认证鉴权 :支持 Key/HMAC/JWT/Basic/OIDC 等多种策略• 合规审计:内置完整审计日志与流量监控 | 构建全方位安全屏障,保障 API 与核心数据安全,满足银保监会对金融系统的安全审计与合规要求。 |
场景深度解析
AI 网关:支撑银行 AI 业务,提升智能化水平
这是 Higress 最具特色的场景之一,可完美支撑银行 AI 化转型需求。
- 统一接入与降本:通过统一协议对接国内外主流 LLM 及自建模型(如银行自研风控模型),无需为不同模型单独适配接口。
- AI 专属增强能力 :
- AI 可观测:实时监控模型调用,便于运维排查。
- 高可用保障:多模型负载均衡与 Fallback,故障自动切换。
- 成本与体验优化:AI Token 流控防止滥用,AI 缓存提升响应速度。
- MCP 托管与 OpenAPI 转换 :
- 支持通过插件托管 MCP 服务器,提供统一认证鉴权、精细化速率限制、完整审计日志及动态无损更新。
- 提供
openapi-to-mcp工具,快速将 OpenAPI 转换为远程 MCP 服务器,进一步降低开发成本。
Kubernetes Ingress 网关:适配银行云原生转型
随着银行推进云原生转型,Higress 成为 K8s 集群的理想入口网关。
- 平滑迁移:兼容大量 K8s Nginx Ingress 注解,支持从 Ingress API 向 Gateway API 标准演进,迁移过程无需大幅修改配置,保障业务连续。
- 性能跃升 :相比传统
ingress-nginx,Higress 资源开销大幅下降,路由变更生效速度提升十倍,显著提升运维效率。
微服务网关:适配多技术栈,降低资源成本
针对银行复杂的微服务架构(存款、贷款、支付等模块),Higress 提供了强大的适配能力。
- 自动发现与路由:支持 Nacos、ZooKeeper、Consul、Eureka 等多种注册中心,自动发现服务,减少手动维护工作量。
- 深度集成与降本:深度集成 Dubbo、Sentinel 等技术栈,基于 Envoy C++ 内核,相比传统 Java 网关显著降低资源使用率,契合银行"降本增效"需求。
安全防护网关:全方位保障合规
安全是银行信息系统的生命线,Higress 内置了企业级的安全防护能力。
- WAF 与访问控制:内置 WAF 抵御 SQL 注入、XSS 等攻击;支持 Key-auth、JWT、OIDC 等多种认证策略,实现精细化访问控制。
- 审计与监控:提供完整的审计日志和流量监控,直接满足银保监会对金融信息系统安全审计、风险监控的合规要求。
第四章:快速开始:一分钟上手 Higress,适配银行测试与部署需求
不管是银行技术团队本地测试,还是搭建简易业务节点,Higress 都非常容易上手,只需 Docker 就能启动,步骤简单,不影响现有业务运行,具体步骤如下:
bash
# 1. 创建一个工作目录(用于存放配置文件)
mkdir higress; cd higress
# 2. 启动 Higress,配置文件会自动写入当前工作目录,支持后续配置优化与备份
docker run -d --rm --name higress-ai -v ${PWD}:/data \
-p 8001:8001 -p 8080:8080 -p 8443:8443 \
higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest
这里跟大家说明一下监听端口的用途,方便技术团队使用和管控:
-
8001 端口:Higress UI 控制台入口,打开浏览器访问就能操作控制台,可进行路由配置、插件管理、安全设置等,适配银行精细化运维需求;
-
8080 端口:网关 HTTP 协议入口,用于处理 HTTP 类型的请求,可用于内部测试、非核心业务访问;
-
8443 端口:网关 HTTPS 协议入口,用于处理 HTTPS 类型的请求,满足银行数据传输加密的合规要求,适配核心业务访问。
Higress 功能展示,适配银行实际开发运维需求
Higress 不仅具备强大的底层能力,更在易用性、扩展性和可视化的功能设计上,充分贴合银行信息系统的实际运维需求,让技术优势转化为可落地的业务价值,具体功能如下:
核心功能一览
| 功能模块 | 核心能力 | 银行运维价值 |
|---|---|---|
| AI 网关 Demo | • 快速迁移 :30 秒完成大模型配置切换• 零代码修改:无需改动业务代码 | 大幅降低银行 AI 模型(如通用模型→自研风控模型)切换与升级成本,保障 AI 业务连续运行。 |
| UI 控制台 | • 开箱即用 :界面简洁直观• 全链路观测:内置 Grafana & Prometheus,支持对接自建监控 | 实时掌握网关流量、性能、插件状态,快速排查故障,契合银行精细化运维需求。 |
| 插件扩展机制 | • 官方插件库 :覆盖 AI、安全、流量管理、审计等场景• 自定义插件:支持构建 OCI 镜像,实时无损更新 | 既满足核心场景通用需求,又灵活适配银行个性化需求(如定制化合规审计插件),不影响核心业务。 |
| 多种服务发现 | • 多注册中心适配 :支持 K8s Service、Nacos、ZooKeeper• 静态/DNS 发现:支持基于静态 IP 或 DNS 发现服务 | 适配银行核心集群、分布式节点、异地部署等多种场景,保障不同业务模块服务互联互通。 |
| 域名与证书管理 | • TLS 证书管理 :控制台创建/管理证书,支持 HTTP/HTTPS 配置• 精细化插件绑定:特定域名生效特定插件 | 满足数据传输加密合规要求,可按业务安全等级(如核心业务 vs 普通业务)精细化配置安全插件。 |
| 丰富的路由能力 | • 可视化配置 :选择域名、匹配规则、目标服务即可完成配置• 路由级插件绑定:特定路由生效特定插件 | 操作简单高效,可按业务类型(如信贷审批 vs 客户查询)配置专属插件(限流/审计/缓存),保障业务高效安全。 |
功能深度解析
AI 网关 Demo 展示:快速适配模型切换
Higress 支持从 OpenAI 到其他各类大模型的快速迁移,只需 30 秒就能完成配置,不用修改业务代码。这一特性可快速适配银行 AI 模型的切换与升级需求,比如从通用 AI 模型切换到银行自研风控模型,大幅降低切换成本,保障 AI 业务连续运行。
Higress UI 控制台:契合精细化运维
控制台开箱即用,界面简洁直观,提供丰富的可观测功能。银行技术团队可使用内置的 Grafana & Prometheus 监控网关运行状态,实时掌握流量、性能、插件运行等情况,也可以对接银行自建的监控系统,实现全链路观测,及时发现并排查故障,保障业务稳定运行。
插件扩展机制:灵活适配个性化需求
官方提供了多种常用插件,覆盖 AI、安全、流量管理、合规审计等场景,可直接适配银行核心需求;同时支持银行技术团队开发自己的专属插件(如合规审计插件、定制化认证插件)------将自定义插件构建成 docker/oci 镜像后,在控制台简单配置,就能实时变更插件逻辑,而且对流量完全无损,不影响银行核心业务运行,灵活适配银行个性化需求。
多种服务发现方式:保障服务互联互通
默认提供 K8s Service 服务发现,通过简单配置,还能对接 Nacos、ZooKeeper 等注册中心实现服务自动发现,也可以基于静态 IP 或者 DNS 来发现服务,适配银行不同部署场景(如核心业务集群、分布式节点、异地部署)的需求,保障服务互联互通。
域名和证书管理:满足加密与精细化管控
可在控制台创建和管理 TLS 证书,灵活配置域名的 HTTP/HTTPS 行为,满足银行数据传输加密的合规要求;同时支持在域名策略中设置"特定域名生效特定插件",比如为核心业务域名配置专属安全插件,精细化控制插件的作用范围,适配银行不同业务的安全等级需求。
丰富的路由能力:高效配置个性化策略
通过前面提到的服务发现机制,发现的服务会自动出现在控制台的服务列表中;创建路由时,只需选择对应的域名、定义路由匹配规则,再选择目标服务,就能完成路由配置,操作简单高效。同时支持在路由策略中设置"特定路由生效特定插件",比如为信贷审批路由配置限流、审计插件,为客户查询路由配置缓存插件,满足银行不同业务的个性化需求,保障业务高效、安全运行。