AI应用服务

AI大模型--AI应用,该如何和前端交互,呈现llm模型答复内容呢?

向LLM大模型提问后,系统得先识别问题,再从数据网络找信息,接着推理出正确结果,还得防止模型"胡编乱造"(控制模型幻想)。有时多个智能体(agent)要一起处理,结果还得融合。这些步骤都是异步进行的,没法像传统应用接口那样实时出结果。为减少大模型结果延迟、提升用户体验,我们提供以下方案。

方案1、轮询

后端pedding结果到db或其他存储层。前端通过应用接口密集轮询存储层结果。

例:支付订单状态查询等

方案2、SSE

前端和后端建立半连接状态,后端处理llm结果的同时实时推送给前端,并异步到存储层。目前来看,该方案最优。大部分竞品:豆包、deepseek、文心一言、智谱清言... 皆沿用该方案。

例:及时消息通信等

方案3、application/ndjson

Java可以通过HttpServletResponse或StreamingResponseBody方式实现。

例:日志以及批量文件上传等

方案4、socket

不在依赖http协议,而是ws://localhost:端口号/...

例:打印机等

相关推荐
一切皆是因缘际会2 小时前
从概率拟合到内生心智:2026 下一代 AI 架构演进与落地实践
人工智能·深度学习·算法·架构
科研前沿2 小时前
镜像视界 CameraGraph™+多智能体:构建自感知自决策的全域空间认知网络技术方案
大数据·运维·人工智能·数码相机·计算机视觉
爱学习的张大2 小时前
具身智能论文问答(2):Diffusion Policy
人工智能
AI科技星2 小时前
全域数学·72分册·射影原本 无穷维射影几何卷细化子目录【乖乖数学】
人工智能·线性代数·算法·机器学习·数学建模·数据挖掘·量子计算
Chef_Chen2 小时前
论文解读:MemOS首次把记忆变成大模型的一等公民资源,Scaling Law迎来第三条曲线
人工智能·agent·memory
风落无尘2 小时前
《智能重生:从垃圾堆到AI工程师》——第四章 变化的艺术
人工智能·线性代数·算法
发哥来了2 小时前
AI视频生成模型选型指南:五大核心维度对比评测
大数据·人工智能·机器学习·ai·aigc
发哥来了2 小时前
AI驱动生产线的实际落地:一个东莞厂商的技术选型实录
大数据·人工智能·机器学习·ai·aigc
AC赳赳老秦2 小时前
知识产权辅助:用 OpenClaw 批量生成专利交底书 / 软著申请材料,自动校验格式与内容合规性
java·人工智能·python·算法·elasticsearch·deepseek·openclaw
AI科技3 小时前
原因大揭秘:为什么别人的编曲伴奏做得又快又好,2026年度甄选5款AI编曲软件汇总
人工智能