有人问我:你们这个网关支持OpenAI吗?我说分两层回答。
第一层,接口格式兼容。你的代码如果用OpenAI SDK写的,改一行Base URL和API Key就能跑,不用改业务逻辑。
第二层,模型供应商。网关接入的是国内主流大模型供应商,字节跳动、阿里巴巴、DeepSeek、百度、智谱AI、月之暗面等,供应链路稳定、调延低、数据不出企业。也就是说,你的代码用OpenAI格式写,调的是国内模型。这不矛盾。下面十个问题连环展开。
问题一:619个模型从哪来的?
大模型管理页面四张数据卡片:接入模型总数619个、在线41个、今日调用量2次、平均响应61ms。619个模型不是从一家来的,是国内多家供应商的模型汇总在一个目录里。每个模型有名称、供应商、状态、调用入口。大模型广场三维筛选------按厂商、按类型(文本/图片生成/视频生成)、按计费------帮你从619个里挑。
问题二:在线才41个,为什么?
619个接入不代表619个都在跑。41个在线表示当前有可用链路,其余是离线或暂停状态。运维关心的是在线数------链路监控定期测每个渠道每个模型能否用,不可用的临时下线,恢复后重新加入路由。
问题三:费用怎么拆?
消费日志:总消费¥1.462811,171次调用,4.2M Token。每条记录有用户、令牌、供应商、模型、部门/项目、总Token、金额。admin一次调用Token 114、金额¥0.002970------不到三分钱也记到小数点后六位。成本优化:高耗用户9个,top1市场部4.36M Token ¥305,top2市场部7.06M Token ¥209------Token更多花钱更少,说明两个模型单价差很多。
差异化:四维度分账(部门/项目/人员/令牌),推送打通钉钉飞书企微,可配推送时间和对象,分账报告可导出。采购还能拿网关记录跟供应商账单逐条对比------上下游账单对比。
问题四:员工往对话框贴身份证号呢?
数据脱敏8条正则规则,覆盖身份证、银行卡、军官证、手机号,高中低三级风险分级。输入防护检测提示词注入。差异化在内置小模型------每个请求输入过一遍判断涉黄涉暴,关键词拦"明着说"的,小模型拦"拐弯说"的。
问题五:供应商宕机怎么办?
三种路由:默认按权重分流量,主备主链路异常自动切备用,成本路由把简单任务分给便宜模型。链路监控定期测每个渠道。差异化:不只是"坏了切",还有"简单任务用简单模型"------"怎么退货"用不着顶级模型。
问题六:出事能查到谁干的吗?
日志审计:今日50次请求(成功44/失败6),平均18,405ms。总记录54,167条,每条10个字段含请求和响应内容。差异化方向是审计可视化,还能查令牌私用------令牌在非工作时间高频调用、内容跟业务无关,一眼看出来。

问题七:令牌怎么管?
令牌管理:92个令牌(活跃29/闲置61/今日72),按角色分模型范围。组织管理:部门2个、员工35人、已同步37条,企业微信自动同步。差异化:直接打通钉钉飞书企微,在职就有权限,离职一键收回。令牌直接可用,创作中心提供使用入口,当简易agent。

问题八:访问控制怎么配?
访问控制配IP黑白名单,令牌鉴权。今日放行357次、拦截0次、拦截率0%。每个令牌有权限范围,按模型分配。

问题九:输出内容安全吗?
输出过滤审返回内容,返回内容里有违规内容会被拦。跟输入防护配对使用------进来的查一遍,出去的也查一遍。

问题十:私有化部署怎么选?
支持私有化部署,所有请求储存在本地,数据不出企业。有三个软件版本和两个一体机系列。对数据敏感的企业选私有化,请求内容响应内容全留本地。
如果你也考虑AI网关接口兼容性选型问题,欢迎联系我了解更多详情,还有机会获得企业级AI网关的试用!
