技术栈
token限流
庞轩px
3 小时前
网关
·
大模型
·
负载均衡
·
webflux
·
token限流
·
api密钥
大模型推理网关——从负载均衡到故障注入的完整设计
在上一篇文章中，我们实现了AI课程问答助手，它能让用户通过SSE流式调用大模型。但这个方案有一个隐含的问题：API密钥直接暴露在后端代码中，单点调用，没有容灾。
我是有底线的