AI应用服务

AI大模型--AI应用,该如何和前端交互,呈现llm模型答复内容呢?

向LLM大模型提问后,系统得先识别问题,再从数据网络找信息,接着推理出正确结果,还得防止模型"胡编乱造"(控制模型幻想)。有时多个智能体(agent)要一起处理,结果还得融合。这些步骤都是异步进行的,没法像传统应用接口那样实时出结果。为减少大模型结果延迟、提升用户体验,我们提供以下方案。

方案1、轮询

后端pedding结果到db或其他存储层。前端通过应用接口密集轮询存储层结果。

例:支付订单状态查询等

方案2、SSE

前端和后端建立半连接状态,后端处理llm结果的同时实时推送给前端,并异步到存储层。目前来看,该方案最优。大部分竞品:豆包、deepseek、文心一言、智谱清言... 皆沿用该方案。

例:及时消息通信等

方案3、application/ndjson

Java可以通过HttpServletResponse或StreamingResponseBody方式实现。

例:日志以及批量文件上传等

方案4、socket

不在依赖http协议,而是ws://localhost:端口号/...

例:打印机等

相关推荐
声讯电子1 分钟前
AU-60 全功能 AI 语音处理模组,一站式解决 USB / 模拟 / I2S 全音频开发痛点
人工智能·语音识别·ai降噪·回声消除·回音消除·波束定向
Mr_凌宇5 分钟前
# AI 应用工程入门学习笔记 一
人工智能·面试·程序员
qiaozhangmenai6 分钟前
企业开源节流AI替代软件:2026年技术演进与选型指南
人工智能
大鱼>7 分钟前
宠物活动轨迹追踪系统:GPS/BDS+UWB+BLE多定位融合方案
人工智能·深度学习·算法·iot·宠物
蓦然回首却已人去楼空17 分钟前
Build a Large Language Model (From Scratch) 第三章 编码注意力机制
人工智能·深度学习·语言模型
lisw0520 分钟前
基于零信任的云-边-端访问控制系统,使用可信标签
人工智能·机器学习·软件工程
QYR_1120 分钟前
离心滚筒光饰机:精密制造后处理的“效率引擎”与价值高地
人工智能
白帽小阳21 分钟前
我的AI辅助开发工具链2026版:从编码到部署的全栈智能实践
网络·人工智能·学习·安全·自动化
HackTwoHub22 分钟前
AntiDebug Mcp、AI逆向绕过前端,Hook 加密接口,抓取 Vue 路由漏洞,接入 MCP 让 AI 自动化挖掘前端漏洞
前端·vue.js·人工智能·安全·web安全·网络安全·系统安全
俊哥V24 分钟前
每日 AI 研究简报 · 2026-07-14
人工智能·ai