云上AI推理平台全掌握 (3)：服务接入与全球调度

前言

在AI技术飞速发展的今天，大语言模型（LLM）、多模态模型等前沿技术正深刻改变行业格局。推理服务是大模型从"实验室突破"走向"产业级应用"的必要环节，需直面高并发流量洪峰、低延时响应诉求、异构硬件优化适配、成本精准控制等复杂挑战。

阿里云人工智能平台 PAI 致力于为用户提供全栈式、高可用的推理服务能力。在本系列技术专题中，我们将围绕分布式推理架构、Serverless弹性资源全球调度、压测调优和服务可观测等关键技术方向，展现 PAI 平台在推理服务侧的产品能力，助力企业和开发者在AI时代抢占先机，让我们一起探索云上AI推理的无限可能，释放大模型的真正价值！

在AI推理服务全球化部署的今天，企业正面临跨地域流量调度、异构网络接入、高安全要求与低延迟保障的多重挑战。据行业调研，超过60%的AI推理性能问题源于非最优的网络路径选择，而混合云场景下的服务接入复杂度更是导致运维成本飙升300%。阿里云人工智能平台PAI平台推出的全球化的服务接入矩阵，正重新定义AI服务的高可用接入标准------从单地域VPC安全隔离到跨洲际毫秒级调度，让客户的推理服务在任何网络环境下都能实现「接入即最优」。

阿里云人工智能平台PAI的推理服务PAI-EAS为LLM服务量身打造了专业且灵活的服务接入方案。该方案支持多种服务调用方式，包括公网调用、VPC调用 以及高速直连调用 ，以满足不同场景下的网络需求。此外，PAI-EAS还支持与NLB实例关联 ，实现自定义负载均衡策略，以及与Nacos关联 ，实现自定义服务发现 功能。通过PAI-EAS专属网关能力，用户可以一键配置服务的公网与私网访问白名单。结合云企业网（CEN）打通VPC后，还能实现跨地域的服务调用 ，从而为客户构建全球化容灾高可用方案，确保业务的连续性和稳定性。

EAS服务调用方式

公网访问

客户可以直接通过公共网络访问部署在资源组中的服务。公网访问时，请求会经由EAS共享公共网关转发至EAS在线服务。此外，为实现安全隔离与访问控制方面的需求，客户可配置专属网关，通过专属网关转发请求到EAS在线服务，以确保客户端与服务端之间拥有稳定的网络连接。

VPC访问

位于同一地域的两个VPC网络支持建立VPC连接，客户可以通过共享网关或专属网关访问同一地域中部署在资源组中的服务。位于不同地域的两个VPC网络可以通过云企业网（CEN）进行连接。网络打通后，客户需要配置专属网关，通过专属网关将请求转发至EAS在线服务。通过专属网关转发请求，可以提升网络带宽，帮助客户降低高并发和高吞吐业务场景带来的网络风险。

VPC高速直连访问

将EAS服务或专属资源组添加到VPC网络环境中，开通VPC高速直连。开通VPC高速直连后，无需通过网关访问服务，避免了四层SLB和七层网络转发，客户可以在VPC中直接访问EAS实例。同时，EAS预置的RPC实现了HTTP相关协议栈，对于高QPS（Queries Per Second）的大流量服务（例如图像服务），可以大幅度提高访问性能、降低访问延时。

NLB地址调用

EAS服务支持关联NLB负载均衡实例，客户可以通过NLB来自定义服务的负载均衡策略来调用EAS服务。

Nacos地址调用

如果客户使用Nacos统一管理服务，将EAS服务挂载到Nacos实例后，可以使用Nacos的服务发现能力来进行服务请求。

专属网关

为了满足客户在安全隔离与访问控制方面的需求，EAS提供了专属网关功能。通过专属网关，客户可以灵活地进行网络配置，支持为专有网络和公网配置访问白名单、自定义域名访问。此外，专属网关还可以帮助客户降低高并发和高吞吐业务场景带来的网络风险。

全球调度

在PAI-EAS推理服务平台中，依托智能化的多地域专属网关架构和全球各地域分布式资源部署能力，企业可轻松实现AI服务的全球化部署与智能调度。这一强大的功能不仅确保了服务在全球范围内的高效、稳定运行，更为客户业务的全球化布局提供了坚实的容灾高可用保障。无论面对何种突发状况，您的业务都能在不同地域间无缝切换，持续为用户提供不间断的优质服务，从容应对全球化的业务挑战。

使用方式

登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。
在推理服务页签，单击部署服务，选择自定义模型部署>自定义部署。
在服务接入的区域，进行网关、专有网络（VPC）、关联负载均衡NLB、关联负载发现Nacos等相关配置。

系列简介：云上AI推理平台全掌握

本系列《云上AI推理平台全掌握》将深度解析阿里云AI推理平台的技术架构、最佳实践与行业应用，涵盖以下核心内容：

技术全景：从分布式推理、动态资源调度到Serverless，揭秘支撑千亿参数模型的底层能力。
实战指南：通过压测调优、成本优化、全球调度等场景化案例，手把手教你构建企业级推理服务。
行业赋能：分享金融、互联网、制造等领域的落地经验，展示如何通过云上推理平台加速AI业务创新。

无论客户是AI开发者、架构师，还是企业决策者，本系列都将为客户提供从理论到实践的全方位指导，助力客户在AI时代抢占先机。让我们一起探索云上AI推理的无限可能，释放大模型的真正价值！

立即开启云上 AI 推理之旅，就在阿里云人工智能平台PAI。