AI应用服务

AI大模型--AI应用,该如何和前端交互,呈现llm模型答复内容呢?

向LLM大模型提问后,系统得先识别问题,再从数据网络找信息,接着推理出正确结果,还得防止模型"胡编乱造"(控制模型幻想)。有时多个智能体(agent)要一起处理,结果还得融合。这些步骤都是异步进行的,没法像传统应用接口那样实时出结果。为减少大模型结果延迟、提升用户体验,我们提供以下方案。

方案1、轮询

后端pedding结果到db或其他存储层。前端通过应用接口密集轮询存储层结果。

例:支付订单状态查询等

方案2、SSE

前端和后端建立半连接状态,后端处理llm结果的同时实时推送给前端,并异步到存储层。目前来看,该方案最优。大部分竞品:豆包、deepseek、文心一言、智谱清言... 皆沿用该方案。

例:及时消息通信等

方案3、application/ndjson

Java可以通过HttpServletResponse或StreamingResponseBody方式实现。

例:日志以及批量文件上传等

方案4、socket

不在依赖http协议,而是ws://localhost:端口号/...

例:打印机等

相关推荐
Bruce_Liuxiaowei1 分钟前
AI 红队实践:用 garak 扫描本地 qwen3:8b 模型
人工智能·大模型安全
szxinmai主板定制专家2 分钟前
基于 AM62x + Artix-7 的低功耗 ARM+FPGA 平台在轨道交通车门控制中的应用
arm开发·人工智能·fpga开发·zynq·am62x
愤怒的代码4 分钟前
KV Cache 压缩技术:把大模型的“记忆”塞进一个小盒子
人工智能·agent
Ai-_Man5 分钟前
Microsoft Copilot对话数据怎么导入到另外一个Microsoft Copilot账号里去?AI导出鸭
开发语言·javascript·人工智能·microsoft·chatgpt·ecmascript·copilot
aneasystone本尊6 分钟前
学习大模型训练的显存管理与混合精度
人工智能
IT_陈寒10 分钟前
一文搞懂Java的核心概念
前端·人工智能·后端
m4Rk_15 分钟前
【论文阅读】Agent记忆机制(111):FEB-30——别再只用问答准确率评估 Agent Memory
论文阅读·人工智能·学习·开源·github
郝学胜-神的一滴18 分钟前
游戏设计:原型与开发 12:概率和反馈与数值平衡实战
人工智能·游戏·游戏程序·游戏策划·游戏设计