chatserver - chatserver技术,学习,经验文章

goehou

3 小时前

LLM ChatServer 实战 - 会话管理、SSE 流式与错误语义的接口设计（附清单）客服机器人从命令行 demo 变成给三个人用的内部工具，中间隔着一层 HTTP 服务。模型本身早就调通了，这两天把服务层重构了一遍，精力主要消耗在把会话管理、流式输出和错误语义这些杂事做对。这篇文章把接口设计里的关键决策和踩过的坑整理出来。