技术栈
api密钥
庞轩px
21 天前
websocket
·
nginx
·
大模型
·
token
·
sse
·
流式输出
·
api密钥
第七篇：大模型API调用——从Token到流式输出
在前面六篇文章中，我们从Embedding一路拆解到RAG和会话管理。但这些技术最终都要落到一个具体的操作上——调用大模型API。
庞轩px
22 天前
网关
·
大模型
·
负载均衡
·
webflux
·
token限流
·
api密钥
大模型推理网关——从负载均衡到故障注入的完整设计
在上一篇文章中，我们实现了AI课程问答助手，它能让用户通过SSE流式调用大模型。但这个方案有一个隐含的问题：API密钥直接暴露在后端代码中，单点调用，没有容灾。
我是有底线的