AI应用服务

AI大模型--AI应用,该如何和前端交互,呈现llm模型答复内容呢?

向LLM大模型提问后,系统得先识别问题,再从数据网络找信息,接着推理出正确结果,还得防止模型"胡编乱造"(控制模型幻想)。有时多个智能体(agent)要一起处理,结果还得融合。这些步骤都是异步进行的,没法像传统应用接口那样实时出结果。为减少大模型结果延迟、提升用户体验,我们提供以下方案。

方案1、轮询

后端pedding结果到db或其他存储层。前端通过应用接口密集轮询存储层结果。

例:支付订单状态查询等

方案2、SSE

前端和后端建立半连接状态,后端处理llm结果的同时实时推送给前端,并异步到存储层。目前来看,该方案最优。大部分竞品:豆包、deepseek、文心一言、智谱清言... 皆沿用该方案。

例:及时消息通信等

方案3、application/ndjson

Java可以通过HttpServletResponse或StreamingResponseBody方式实现。

例:日志以及批量文件上传等

方案4、socket

不在依赖http协议,而是ws://localhost:端口号/...

例:打印机等

相关推荐
key_3_feng2 分钟前
鸿蒙NEXT原生AI智能家庭助手开发方案
人工智能·华为·harmonyos
MRDONG13 分钟前
深入理解 RAG(Retrieval-Augmented Generation):原理、工程体系与实践指南
人工智能·算法·语言模型·自然语言处理
bryant_meng4 分钟前
【Reading Notes】(8.9)Favorite Articles from 2025 September
人工智能·深度学习·llm·资讯
互联网科技看点6 分钟前
诸葛智能入选IDC最新报告:以营销智能体驱动金融增长
大数据·人工智能·金融
东离与糖宝8 分钟前
静态语言与动态语言基础:核心区别对比
人工智能
551只玄猫8 分钟前
【模块1 建立认知1】为什么金融数据不能用“普通机器学习”?
人工智能·机器学习·数学建模·金融·数据科学·金融建模
数智工坊9 分钟前
深度拆解 AnomalyCLIP:用 CLIP 做零样本异常检测,不看目标数据也能精准定位缺陷
人工智能
xcbrand9 分钟前
工业制造品牌全案公司找哪家
大数据·人工智能·python·制造
k笔墨丹青11 分钟前
三维重建(点云)
人工智能·机器学习·3d
别或许11 分钟前
线代中为什么左乘一个列满秩矩阵,不改变矩阵的秩?
人工智能·算法·矩阵