AI应用服务

AI大模型--AI应用,该如何和前端交互,呈现llm模型答复内容呢?

向LLM大模型提问后,系统得先识别问题,再从数据网络找信息,接着推理出正确结果,还得防止模型"胡编乱造"(控制模型幻想)。有时多个智能体(agent)要一起处理,结果还得融合。这些步骤都是异步进行的,没法像传统应用接口那样实时出结果。为减少大模型结果延迟、提升用户体验,我们提供以下方案。

方案1、轮询

后端pedding结果到db或其他存储层。前端通过应用接口密集轮询存储层结果。

例:支付订单状态查询等

方案2、SSE

前端和后端建立半连接状态,后端处理llm结果的同时实时推送给前端,并异步到存储层。目前来看,该方案最优。大部分竞品:豆包、deepseek、文心一言、智谱清言... 皆沿用该方案。

例:及时消息通信等

方案3、application/ndjson

Java可以通过HttpServletResponse或StreamingResponseBody方式实现。

例:日志以及批量文件上传等

方案4、socket

不在依赖http协议,而是ws://localhost:端口号/...

例:打印机等

相关推荐
乌恩大侠9 小时前
【Spark】操作记录
人工智能·spark·usrp
一水鉴天9 小时前
整体设计 全面梳理复盘 之27 九宫格框文法 Type 0~Ⅲ型文法和 bnf/abnf/ebnf 之1
人工智能·状态模式·公共逻辑
极客BIM工作室9 小时前
GAN vs. VAE:生成对抗网络 vs. 变分自编码机
人工智能·神经网络·生成对抗网络
咋吃都不胖lyh9 小时前
小白零基础教程:安装 Conda + VSCode 配置 Python 开发环境
人工智能·python·conda
minhuan9 小时前
构建AI智能体:八十九、Encoder-only与Decoder-only模型架构:基于ModelScope小模型的实践解析
人工智能·模型架构·encoder-only架构·decoder-only架构
rit84324999 小时前
基于MATLAB的PCA+SVM人脸识别系统实现
人工智能·算法
一 铭9 小时前
Claude Agent Skills:一种基于 Prompt 扩展的元工具架构
人工智能·大模型·llm·prompt
连线Insight9 小时前
小马智行港股上市:自动驾驶从“技术追跑”到“商业领跑”的里程碑
人工智能
xier_ran9 小时前
深度学习:为什么不能将多层神经网络参数全部初始化为零以及如何进行随机初始化
人工智能·深度学习
扫地僧9859 小时前
[特殊字符]用于糖尿病视网膜病变图像生成的生成对抗网络(GAN)
人工智能·神经网络·生成对抗网络