1. 背景
2025年人工智能(AI)的发展已经达到了一个全新的高度,正以前所未有的速度重塑着各个行业。AI技术(LLM应用)从实验室走向实际应用的步伐显著加快,大模型的普惠化、多模态交互、复杂逻辑推理等技术突破(deepseek、sora视频生成、阿里推理模型等),为企业的智能化转型提供了强大的动力。
AI的应用场景不断拓展,如何推进大模型在企业内落地,提升企业效率和创新发展?
这也是货拉拉一直在重点探索解决的问题---货拉拉自研LLM应用平台(悟空平台),贴合业务需求,降低业务应用大模型的成本,缩短接入周期,支持快速便捷构建AI应用提效能。
之前货拉拉大模型应用开发体系演进与实践中给出货拉拉-悟空平台的演进历程,这次我们重点推出agent搭建神器-工作流让效率翻倍。
2. LLM该怎么用
LLM应用主要有以下4种方式,我们关于LLM应用想法一般可以通过以下4种方式中的一种或多种组合实现。
-
LLM调用:基于LLM知识问答,无法控制模型输出,适用于探索场景
-
chain(prompt + LLM):prompt 增强LLM目标感,适用文本生成/单次对话问答场景;例如,文案生成、情感分析、总结、翻译等
-
知识库(prompt + 外挂知识):LLM拥有外挂文档知识,适用FAQ问答场景;例如,问答机器人、智能客服等
-
agent(prompt + LLM + memory + 工具):让LLM拥有记忆和使用工具能力,适用多轮对话场景;例如,智能客服、营销助手、下单助手等

3. AI应用如何搭建
LLM应用(4种方式中的一种或多种组合实现)如何搭建落地,悟空平台也在持续迭代升级,给出不同搭建方式支持各种应用场景,以下重点介绍悟空平台的"工作流"。
-
低代码:仅支持4大场景,最多5min可高效搭建调试上线,但暂不支持场景组合和特色功能
-
零代码:agent效果优化,2min问答搭建专用agent,降低agent搭建门槛
-
工作流:全场景支持,包括但不限于4大场景、场景组合、以及一些特色功能支持
📍低代码-简单场景5min上线

📍零代码-2min agent搭建

📍工作流-全场景支持

4. 悟空平台-工作流
工作流可支持LLM的全场景应用 ,包含4大场景、场景组合、以及一些特色功能支持,包括但不限于以下重点特色功能(低代码、零代码无法实现)
-
选择器节点:通过逻辑判断条件指定流程走向
-
数据库节点:查询数据表字段或者写入新数据
-
代码节点:执行特定功能的python代码,并解析执行结果
-
组合场景(工作流&langchain):直接调用悟空平台上已经上线的AI应用
📌 选择器
通过逻辑判断条件指定不同业务逻辑,如智能客服问答,用户闲聊时风趣回复,业务问题恳切回复
- 业务问题:
用户问题:你好,我想要续费,怎么续
恳切回复:您好,关于续费的问题,您可以直接在我们的平台上找到续费的选项,通常在您的账户设置或服务管理页面中。如果您在操作过程中遇到任何问题,或者找不到续费选项,请提供更详细的信息,比如您使用的服务类型,这样我可以更好地帮助您。如果当前无法立即解决,还请您稍安勿躁,我们会尽快为您处理。
- 闲聊问题:
用户问题:北京哪里好玩呀
恳切回复:哎呀,北京好玩的地方可多了!故宫带你穿越历史,长城让你感受古人的智慧,还有南锣鼓巷的小吃,让你的味蕾也来一场旅行!别忘了去798艺术区逛逛,那里可是文艺青年的聚集地哦!


🟧 数据库
数据库节点可以连接mysql,AI应用结合真实业务数据,例如查询业务sql数据库,获取涉及某条道路信息的数据量。
通过数据库节点连接业务数据库,工作流实现步骤
-
配置数据库参数
-
配置输入变量(查询的道路信息)和想要输出的表字段(数据量)
-
自定义查询sql****代码,代码中支持引用输入的变量
-
调用工作流,输入要查询的内容,完成查询


📎 代码节点
代码节点支持自定义python代码,并返回执行结果。如图,自写python代码对输入字符串进行解析

5. 业务应用示例
🔶多LLM调用对比
在业务应用落地探索中,我们一般遇到第1个问题是"应该选哪个模型"。在工作流之前如果想实现多LLM同时对比调用,需要配置多个应用,每个应用分别调用操作繁琐。
如果使用工作流,只需要在工作流中拖拽多个大模型节点即可实现,操作便捷,提升业务落地效率。
实现方式:
-
拖拽多个大模型节点,每个节点配置不同的模型,但使用相同的prompt
-
将同一个需求传递给每个模型,对比输出效果
用户问题:用3个不同LLM生成【活动口号】和【奖励内容】的广告文案,对比挑选最优的LLM并应用
结果:一次调用同时给出3个LLM各自结果,方便对比,加速业务落地

🔶多知识库问答
AI应用在智能客服场景应用最多,通用实现方式简单,但如何保障问答效果是最核心的问题。真实业务场景复杂,一般可能会涉及多个业务知识库导致问答效果差,如果可以综合意图识别和多知识库节点即可大大提升问答准确率。
工作流可实现针对知识库有选择的检索,例如,根据用户关于活动内容提问意图,到不同****的知识库 中去匹配对应的活动规则;需要对多个****知识库进行有选择性地检索时,可以采用意图识别节点+多知识库节点。
实现方式:
-
通过意图识别节点接收用户问题,识别其意图(希望咨询的活动名称)
-
根据意图自动选择并检索对应的知识库(避免检索非对应的知识库),给出活动规则
用户问题:我要充值
运行结果:自动走"充值"逻辑,综合"充值"知识库内容回复

🔶数据库读写
结合数据AI应用探索是AI应用落地一大重要场景,例如,业务想要结合AI针对重复数据提效,AI提取核心路况信息,判断该信息是否已存在于数据库中,如果没有则将该信息写入数据库中。工作流可实现结合AI分析的数据库实时读写。
实现方式:
-
配置数据库host等参数
-
输入对应的sql,sql中允许使用节点输出变量
-
调用工作流,输入要查询的信息,实现查询和写入
首次运行:没有重复,成功写入一条样本
再次执行:显示有重复样本存在


🔶场景组合
应用想先数据库检索,根据检索结果查询不同知识库,综合不同情况给用户提供不同回复。例如,会员信息问答场景可以通过数据库查询 获取用户会员信息 ,再针对用户问题到对应活动的知识库中检索相应的业务信息 ,最后利用大模型整合上述信息进行回复。
实现方式:
-
搭建数据库节点,配置用户会员信息检索sql
-
对用户问题进行意图识别,并检索知识库
-
返回知识库检索结果和数据库检索结果给LLM,让LLM回答用户问题

6. 总结
货拉拉LLM应用平台-悟空平台重点推出工作流,实现LLM应用全场景支持。同时LLM应用平台在逐步完善,会持续不断迭代,为LLM在货拉拉司内落地提供更优质、更高效的服务。
作者简介:货拉拉/技术中心/智能平台部
架构:胡报、李闪磊、管宝鑫、杜典浩、孙凌昆
算法:张洪龙、杨丹、陆弘源、单元康、陈瀚赓