一、问题背景
企业将大模型私有化部署后,下一个关键问题是:如何让大模型安全地接入企业现有系统?
这不是简单的"调个接口"就能解决的问题。企业级接入面临三个核心挑战:
挑战一:统一认证
员工已经通过企业SSO(单点登录)访问内部系统。大模型服务不能另起一套账号体系,必须与现有SSO打通。
挑战二:权限隔离
不同部门、不同角色的员工,应该能看到不同范围的数据、调用不同级别的模型能力。不能所有人拥有同等权限。
挑战三:安全审计
谁、什么时候、通过什么应用、调用了哪个模型、传入了什么数据、输出了什么结果------这些都需要可追溯、可审计。
二、整体架构设计
核心思路: 在模型层和业务层之间,加一层"企业级接入网关"。
整体架构:

四层职责:
-
SSO认证层:验证调用者身份
-
权限控制层:校验调用权限
-
审计日志层:记录完整调用链路
-
网关基础能力:协议转换、限流熔断、成本计量
三、SSO认证集成方案
目标: 让大模型服务复用企业现有的SSO体系,无需维护独立账号。
常见SSO协议支持:

认证流程:
-
业务应用获取用户Token(从企业SSO获取)
-
业务应用调用AI网关时,在Header中携带Token
-
AI网关调用SSO服务验证Token有效性
-
验证通过后,从Token中提取用户身份信息(user_id、部门、角色)
-
将用户身份信息透传到下游调用链
关键设计:
-
Token验证结果缓存(5分钟),避免每次请求都调用SSO
-
支持Token自动刷新机制
四、权限控制方案
目标: 实现"不同人看到不同数据、调用不同能力"。
权限模型设计:
采用 RBAC ( 基于角色的访问控制 )扩展模型:

权限规则示例(纯文本格式):
-
规则1:法务角色 → 可调用合同审查应用 → 可访问知识库A(合同库)
-
规则2:研发角色 → 可调用代码助手应用 → 可访问知识库B(技术文档)
-
规则3:部门主管 → 可查看本部门所有成员的调用统计和成本
-
规则4:敏感模型(如高成本模型)→ 仅限特定角色使用
权限校验流程:
-
SSO认证通过后,获取用户身份
-
查询用户对应的角色和应用权限
-
校验当前请求的目标应用、模型、知识库是否在权限范围内
-
通过则放行,拒绝则返回403
五、API网关设计
目标: 统一管理模型调用的接入、限流、熔断、计量。
网关核心能力:
能力一:统一协议转换
业务侧统一使用标准格式调用,网关负责转换为模型厂商的原生格式。
能力二:限流与熔断
-
用户级限流:单个用户每分钟最多调用30次
-
应用级限流:单个应用每小时最多调用1000次
-
模型级熔断:模型连续失败率超阈值,自动熔断并降级
能力三:成本计量
每次调用记录:用户、应用、模型、输入Token、输出Token、耗时、时间戳。按多维度聚合成本。
能力四:审计日志
完整记录请求和响应(敏感信息脱敏后存储),满足合规审计要求。
在具体实现上,有企业采用 ZGI 作为AI接入网关的平台底座,其内置的SSO集成、RBAC权限、限流熔断、审计日志能力覆盖了上述全部设计。
六、安全与合规
数据安全:
-
传输加密:所有调用强制HTTPS
-
敏感数据脱敏:日志中自动识别并遮掩手机号、身份证等
-
数据本地化:私有化部署确保数据不出企业内网
合规审计:
-
日志保留周期可配置(默认180天)
-
支持按用户/时间/应用检索调用记录
-
审计日志防篡改(写入WORM存储或区块链存证)
七、落地路径建议
第一步:先打通认证
选择1个非核心业务应用,先跑通SSO认证流程。验证身份传递和Token校验。
第二步:再配置权限
基于现有组织架构,定义2-3个典型角色和权限规则,验证权限隔离效果。
第三步:最后加审计
审计日志在前期可以简单记录,待认证和权限稳定后再完善审计能力。
八、总结
私有化大模型接入企业系统,不是一个"调接口"的技术问题,而是一个"企业级集成"的工程问题。
SSO解决"你是谁",权限解决"你能做什么",网关解决"怎么调用",审计解决"做了什么"。
四者缺一不可,共同构成企业级AI接入的完整方案。
本文基于企业AI接入 网关 建设实践整理。