AI应用服务

AI大模型--AI应用,该如何和前端交互,呈现llm模型答复内容呢?

向LLM大模型提问后,系统得先识别问题,再从数据网络找信息,接着推理出正确结果,还得防止模型"胡编乱造"(控制模型幻想)。有时多个智能体(agent)要一起处理,结果还得融合。这些步骤都是异步进行的,没法像传统应用接口那样实时出结果。为减少大模型结果延迟、提升用户体验,我们提供以下方案。

方案1、轮询

后端pedding结果到db或其他存储层。前端通过应用接口密集轮询存储层结果。

例:支付订单状态查询等

方案2、SSE

前端和后端建立半连接状态,后端处理llm结果的同时实时推送给前端,并异步到存储层。目前来看,该方案最优。大部分竞品:豆包、deepseek、文心一言、智谱清言... 皆沿用该方案。

例:及时消息通信等

方案3、application/ndjson

Java可以通过HttpServletResponse或StreamingResponseBody方式实现。

例:日志以及批量文件上传等

方案4、socket

不在依赖http协议,而是ws://localhost:端口号/...

例:打印机等

相关推荐
老郑聊AI业财智造9 分钟前
Spring AI 技术架构与源码分析
java·人工智能·后端·spring·架构·软件工程
一点一木10 分钟前
豆包工作发布:飞书,才是它真正的底牌
人工智能·ai编程·产品
Csvn10 分钟前
第 1 章 AI Agent 是什么
人工智能·aigc
阿里云大数据AI技术11 分钟前
知衣科技 × 阿里云:以MaxCompute 向量检索打通商品与海外社媒内容,让跨境选品看见真实热度
人工智能·agent
2601_9600176217 分钟前
胶黏剂PLM选型指南:为什么垂直行业专用PLM更合适
大数据·人工智能
CSND74026 分钟前
DeepSeek Harness实测+入门教程
人工智能·python
后端小肥肠32 分钟前
历经两个月,我跑通了 Codex 自动剪辑,涨粉破千
人工智能·aigc·agent
前端开发江鸟37 分钟前
把 AI 客服拆成一条可追踪的生产线:从消息接入、RAG 到人工接管与质量回流
人工智能
2601_9507607939 分钟前
树突状细胞亚群的分类、标志物与功能特征
人工智能·分类·数据挖掘·蛋白