AI应用服务

AI大模型--AI应用,该如何和前端交互,呈现llm模型答复内容呢?

向LLM大模型提问后,系统得先识别问题,再从数据网络找信息,接着推理出正确结果,还得防止模型"胡编乱造"(控制模型幻想)。有时多个智能体(agent)要一起处理,结果还得融合。这些步骤都是异步进行的,没法像传统应用接口那样实时出结果。为减少大模型结果延迟、提升用户体验,我们提供以下方案。

方案1、轮询

后端pedding结果到db或其他存储层。前端通过应用接口密集轮询存储层结果。

例:支付订单状态查询等

方案2、SSE

前端和后端建立半连接状态,后端处理llm结果的同时实时推送给前端,并异步到存储层。目前来看,该方案最优。大部分竞品:豆包、deepseek、文心一言、智谱清言... 皆沿用该方案。

例:及时消息通信等

方案3、application/ndjson

Java可以通过HttpServletResponse或StreamingResponseBody方式实现。

例:日志以及批量文件上传等

方案4、socket

不在依赖http协议,而是ws://localhost:端口号/...

例:打印机等

相关推荐
Deepoch1 分钟前
静默的田野守护者:Deepoc具身智能如何让除草机器人读懂大地密语
大数据·人工智能
Axis tech5 分钟前
Xsens人形机器人拟人动作AI训练,提升机器人工作精度与效率
人工智能·机器人
MARS_AI_1 小时前
智能呼叫中心系统:重构客户服务的核心引擎
人工智能·自然语言处理·重构·交互·信息与通信
AI街潜水的八角3 小时前
图像修复:深度学习实现老照片划痕修复+老照片上色
人工智能·深度学习
HuggingFace5 小时前
Hugging Face 开源 HopeJR 机器臂!今天晚上直播带你深入技术核心
人工智能
义薄云天us6 小时前
028_分布式部署架构
人工智能·分布式·架构·claude code
HuggingFace6 小时前
HF Papers 直播| AI for Science 专场
人工智能
机器视觉与AI7 小时前
半导体制造流程深度解析:外观缺陷检测的AI化路径与实践
人工智能·视觉检测·制造
批量小王子9 小时前
2025-07-15通过边缘线检测图像里的主体有没有出血
人工智能·opencv·计算机视觉