画架构图的时候,大模型网关该放在哪一层?放应用层下面、模型供应商上面,这是位
置。但位置不等于价值------放在那个位置上,它到底做了什么让企业非它不可的事?
MAIGateway(魔芋企业级AI网关)的答案可以浓缩成一句话:它把六件各自为政的事拢到
了一个工程层里。FinAPI替财务把每笔调用拆到部门、项目、人员、令牌四个维度,分
账报告能导出做对比;安全模块8条正则规则拦身份证号银行卡号,内置小模型逐条判
断输入有没有涉黄涉暴;审计模块54,167条记录每条10个字段,请求内容和响应内容
全留着。下面逐层拆。
第一层:统一接入------把五家的门变成一扇
企业同时用字节跳动、阿里巴巴、DeepSeek、百度、智谱AI、月之暗面等供应商,每家
的API格式、认证方式、计费规则都不同。业务系统直连五家要适配五套协议,模型一
换全得改代码。
大模型管理页面四张数据卡片:接入模型总数619个、在线41个、今日调用量2次、平
均响应61ms。兼容OpenAI接口规范的应用,改BaseURL和APIKey就接进来。大模
型广场三维筛选------按厂商、按类型、按计费------帮你从619个里挑。
第二层:FinAPI------替财务把账拆开
传统模式下,财务月底拿到一张总额账单,拆不到部门、拆不到项目、拆不到人。
FinAPI把这件事解决了。
消费日志:总消费¥1.462811,171次调用,4.2MToken。每条记录有用户、令牌、供应
商、模型、部门/项目、总Token、金额。成本优化:高耗用户9个,top1市场部4.36M
Token¥305,top2市场部7.06MToken¥209------Token更多花钱更少,说明两个模型
单价差很多。点"归因分析"看供应商占比,系统给"供应商择优"建议。
差异化:四维度分账(部门/项目/人员/令牌),推送打通钉钉飞书企微,可配推送时间和
对象,分账报告可导出。采购还能拿网关记录跟供应商账单逐条对比------上下游账单对
比。
第三层:安全------请求和响应都过安检
四个子模块:访问控制(令牌鉴权、IP黑白名单)、输入防护(提示词注入检测)、输
出过滤(返回内容审核)、数据脱敏(8条正则规则,覆盖身份证/银行卡/军官证/手机
号,高中低三级)。差异化在内置小模型------每个请求输入过一遍判断涉黄涉暴,关键词
拦"明着说"的,小模型拦"拐弯说"的。
第四层:稳定性------链路坏了自动切
三种路由:默认按权重分流量,主备主链路异常自动切备用,成本路由把简单任务分给便
宜模型。链路监控定期测每个渠道。差异化:不只是"坏了切",还有"简单任务用简单模
型"。
第五层:审计------每笔请求留痕
日志审计:今日50次请求(成功44/失败6),平均18,405ms。总记录54,167条,每
条10个字段含请求和响应内容。差异化方向是审计可视化,还能查令牌私用。
第六层:创作中心------不写代码也能用
网关上直接用令牌调模型,当简易agent。令牌直接可用,提供使用入口。组织管理:部
门2个、员工35人、已同步37条,企业微信自动同步。令牌管理:92个令牌(活跃
29/闲置61/今日72),按角色分模型范围。差异化:直接打通钉钉飞书企微。
六层怎么串成闭环
六层不是各自为政。请求从统一接入进来,FinAPI记费用,安全过两道安检,稳定性选
链路,审计留全量记录。反过来,审计数据驱动其他层调整:发现高耗用户,FinAPI给
优化建议,配额收紧;发现链路延迟高,路由权重调整;发现敏感信息命中脱敏规则,安
全策略加强。六层形成治理闭环。
支持私有化部署,所有请求储存在本地,数据不出企业。有三个软件版本和两个一体机系
列。
⭐如果你和你的团队需要安全可控地接入API 、自由切换全球200+大模型,可以注册免费体验魔芋企业级AI网关MAIGateway并领取token大礼包:https://www.moyu.info/register?aff=uZut