效率提升之道：揭秘货拉拉大模型应用平台的应用部署

一、背景

随着大语言模型（Large Language Model, LLM）涌现，如何高效落地应用LLM成为关键，以LLM为核心搭建各种Agent落地应用（AI Agent ）成为新风向。

货拉拉在司机邀约、AI客服、创意生成等业务已经应用自研大模型提效，推进AI应用。各业务在摸索大模型落地的过程中，存在以下困难：

• AI应用集成难

  • 构建和使用AI应用的用户可能是场内平台能力，也可能是业务领域服务，也可能是飞书、浏览器插件这样的SaaS系统，另外还有其他应用场景或所需用户。如何将AI应用和这些场景或用户无缝集成将决定用户体验和效果。

• 数据分散

  • Prompt组装或大模型的推理过程中可能涉及外部语料，这些语料来源存在多样性（离线文件、场内数据库、第三方应用），且可能涉及数据的ETL过程和Embedding存储和查找。

• 落地成本高

  • 各业务探索大模型落地需要定制化开发，例如会话记录、模型抉择、token分割等。

综合如上现状和问题，货拉拉搭建了LLM应用平台（可视化界面，用户可通过拖拽2min快速搭建部署应用），贴合业务侧需求，降低业务和算法应用大模型的成本，缩短接入周期，支持快速便捷构建AI应用提效能。

二、LLM应用平台

2.1 平台架构

货拉拉LLM应用平台设计自下至上主要分为3大层：

• 基础设施------最底层是平台使用到的场内常用基础设施，例如场内DB、监控、网关等

• 平台层------通过简单的拖拉拽式的低代码配置、编排、管理AI应用；集成场内监控设施实现AI应用调用监控和链路埋点分析等保障功能

• 业务层------指有计划落地大模型能力的业务应用或场景，通过接入平台提供的开放API，使用平台内发布的业务AI应用

基础设施层：这一层分为 Data Service 和 hll知识库&营销数据，其中，Data Service为知识库和营销数据库搭建提供技术支持；知识库&营销数据为上游chain或agent搭建提供数据基础。

平台层： 通过管理平台后端、web前端、open api 、 调用监控、异常告警、链路埋点整体组合构建应用平台。分模块

1. 管理平台后端： 平台后端主要分为模型工具管理、组件管理和AI应用管理中心

   a. 模型工具管理： 支持新增、删除、编辑等管理大模型，目前已支持货拉拉自研货运大模型、开源大模型和商业大模型

   b. 组件管理：该模块包含构建agent落地业务应用时所需的组件，支持添加、删除、编辑等方式管理组件，为agent应用搭建奠定基础

   c. AI应用管理中心：该模块支持我们通过调用组建管理中的组件、模型工具管理中的大模型，通过可视化界面拖拽相关组件快速搭建一个flow（AI应用），支持业务快速落地

2. web 前端 ： 将管理平台后端功能前端可视化展示。

3. open api： AI应用搭建完成后，可通过open api 对接业务，降低业务对接成本。

4. 调用监控、异常告警、链路 埋点：负责监控上线的AI应用，当有异常情况时可及时报警提醒，同时可针对AI应用搭建过程中日志数据埋点，便于我们在AI应用搭建过程中快速定位跟踪问题、观察效果等。

业务层：基于LLM应用平台可直接对各业务赋能，支持业务快速应用大模型落地提效。业务方向包括但不限于智能营销（消息、广告、邀约、AI客服）、代码辅助（代码生成、代码检查、程序文档编写）、数据洞察（指标生成、报表分析、策略建议生成）、智能问答（智能检索、知识库、垂类专业助理）等。

2.2 平台功能

平台可视化界面，零代码搭建应用。支持通过拖拽组件 ，几分钟快速搭建chain、agent等部署应用LLM，主要功能包含

• 组件&模型管理：

  • LLM接入管理 ： 支持LLM的快速接入，包含自研大模型、开源大模型以及商用大模型等
  • 组件工具管理 ： 不同功能组件管理，例如，prompt、chain、tools、memory以及agent等

• AI应用部署（反应流管理）： 支持简单拖拽连接组件，几分钟快速生成与发布AI应用（对外API）

2.2.1 组件&模型管理

组件管理中心针对组件和模型进行管理，支持添加、查看、上线、下线组件/模型。

添加组件：仅需简单几步信息填写，名称、类型、组件属性、输入输出参数等信息，填写无误提交后便可上线对应组件。

2.2.2 AI应用管理

通过搭建flow快速部署应用大模型，flow管理中心可管理创建的flow，包括编辑、删除、查看、复制，上下线等操作。

每个AI应用目前以如下图flow形式展示，通过拖拽左侧组件到画布上，填写必要信息后，链接组件即可搭建如图Flow可生成对应业务的AI应用。

2.3 应用示例

货拉拉LLM应用平台，支持chain、agent搭建快速落地应用各类大模型。同时针对在业务场景中，prompt和文案不方便对外展示的情况，设计有prompt/文案库隐身功能，便于我们管理自己的prompt和文案。

2.3.1 Chain

目前已实现Chain 搭建（LLM + Prompt），用户可在LLM应用平台上拖拽配置应用。同时，针对prompt和文案不方便展示的业务可选隐身，助力业务应用安全落地。

自定义prompt：用户可通过写prompt拖拽组件搭建chain。视频中以"帮我写3个货拉拉{节日名称}营销文案，文案中包含{奖励内容}"为例，快速拖拽链接chain、prompt、LLM搭建chain部署上线应用生成营销文案，整个过程在2min左右可完成。

prompt库&文案库隐身：针对prompt和文案不方便展示的业务，平台支持调用自定义prompt库和文案库 。

如图，在chain搭建过程中，prompt模块无需我们自写prompt，few shot 示例文案仅需要指定所需的示例个数，flow可根据prompt库和文案库中我们设定的参数部署上线应用。

动态灵活prompt库

同时针对prompt库和文案库搭建，我们设计了一套通用的prompt生成方案，一方面为平台搭建和后续agent搭建提供数据基础，另一方面，为之后货拉拉营销大模型搭建提供训练和测试数据，助力构建货运营销大模型。

将prompt拆解生成动态灵活prompt，调用自研大模型生成营销文案，将prompt、文案以及针对文案生成的标签组合，可动态更新生成个性化prompt库和文案库。

prompt可以拆分通用模块、细化模块、个性化模块以及业务模块：

通用模块： 由任务和主体构成，说明任务的主要目标

细化模块： 由文案库、提示词&memory、thought模块构成；文案库除示例文案外，可通过LLM生成文案风格、关键词等丰富文案库；同时可通过one shot、few shot、以及长短期记忆，结合COT、self critics等思维方式细化prompt

个性化模块： 根据业务场景诉求，结合司内活动、实时热点、天气预报等工具，生成满足业务场景的个性化模块

业务模块： 结合业务转化效果以及greedy探索，支持挑选最优示例文案的同时，在探索（exploration）和利用（exploitation）之间进行权衡

2.3.2 Agent

货拉拉LLM应用平台支持快速构建Agent（LLM + Planning + Tools + Memory ），以基于私有知识库的AI问答机器人搭建为例，展示LLM应用平台如何快速搭建一个agent。

实现思路： 针对用户上传文档，优先进行文档切分、embedding、向量存储后，可以结合prompt与LLM搭建agent，这样用户提问后，agent可自动检索并给出回答。

Agent 应用搭建：使用货拉拉LLM应用平台搭建智能问答机器人，flow（AI应用）样式如图，各组件链接无问题后即可上线agent。

三、业务落地

货拉拉基于自研LLM应用平台，已经在4个业务中的7个场景落地应用，助力业务提效。

• 落地业务：消息中心、AI邀约、智能广告、辅助建模

• 落地场景：文案代写、文案改写、情绪/意图识别、辅助标签、关键词总结等

3.1 智能营销

货拉拉每月消息发送量高达26亿，重复或近似的消息推送会导致用户疲劳，消息点击率下降，甚至用户可能关闭消息推送通知，在消息层面流失之后不能再次被触达。

针对以上问题，我们在营销消息触达时，采用AIGC辅助运营生成消息文案和改写消息文案，助力运营提效、同时提高消息的点击率。采用大模型生产AIGC文案，在货拉拉LLM应用平台，仅2min可快速搭建AI应用，支持业务落地。

文案代写： 用户仅需输入【关键词】，通过flow 几秒钟可返回多个文案，在提升运营文案创作效率的同时，丰富了文案库。

关键词：开城, 冷藏车上线, 赢x元京东卡

文案改写： 用户仅需输入【待改写文案】，通过flow 可快速返回多风格候选文案，不仅提高文案改写效率，同时也保证了文案的质量和用户体感。

标题：您有6张发货神券已到账！！

内容：月末省钱日，6张发货神券已到您的账户，单张最高立减30元，快去下单吧>>

3.2 AI邀约

货拉拉邀约中心已经积累了大量的线索，并且线索量还在不断增加。不同邀约员针对邀约线索标注习惯不同，导致线索管理相对低效。

针对上述问题，采用LLM应用平台构建AI应用，针对对脱敏线索数据处理，识别线索中司机的情绪和意图，助力线索管理提效，进而提升线线索跟进率。

例如，针对以下两个对话示例，通过LLM应用平台flow，可以快速标记出司机的情感和意向。

3.3 智能广告

货拉拉广告日均曝光量约2700w，广告的曝光以图片为主，但目前大模型针对图片素材生成效果并不理想。针对广告素材生成我们分步优化，优先支持素材文案生成和改写在业务快速落地应用。

针对广告文案代写和改写，通过LLM应用平台搭建flow生成AI应用后，用户仅需要输入【业务线名称】或者【待改写文案】便可快速生成多候选文案，提升运营广告素材生成效率以及广告点击率。

文案代写示例

业务线名称：大车

文案改写示例

待改写文案：下单发货抢红包

3.4 辅助建模

LLM生成文案时需要运营输入关键词或者说明风格，辅助LLM更好的理解以生成更好的结果。初始阶段我们可以运营辅助，长远预期可自动化生产文案，自动化文案生成离不开优秀的文案库，因此类似风格标签、关键词总结均可以辅助我们丰富文案库，为未来自动化生产文案奠定基础。

以下是在货拉拉LLM应用平台，针对风格标签和关键词总结的应用示例，flow应用搭建快速，且可快速响应，结果质量有保证。

风格标签：针对文案可批量快速打上对应的风格标签，辅助丰富文案库

文案1：标题:速点！送您80元搬家券包；摘要:A.稳稳地接住 B.悄悄去下单

文案2：标题:您有新的优惠券入账！；摘要:10元优惠券已发放到您的账户上，快去使用吧~

文案3：标题:货拉拉诚邀您参与问卷调研；摘要:货拉拉诚邀您参与问卷调研，并有机会获得16元优惠券喔~

文案4：标题:要搬家？优惠券即将过期🚚；摘要:A.放弃优惠 B.点击预约无忧搬家，包搬包运>>

文案5：标题:（领）8.8折优惠券！；摘要:立享优惠，去发货🚚🚚🚚

文案6：标题:您有新的优惠券到账啦；摘要:16元调研优惠已到账，快下单享受优惠吧

关键词总结：可针对文案内容总结出核心关键词，基于这些关键词可再生成文案，丰富文案库

四、总结

针对货拉拉司内LLM应用落地低效的问题，我们搭建了货拉拉LLM应用平台，大模型能力体系逐渐闭环，从完善的大模型工具链到AI开发平台，助力加速AI应用落地。

LLM应用平台支持对组件、模型、以及AI应用进行管理，同时可视化界面，用户可以通过简单的拖拽链接组件几分钟快速搭建应用。使得应用大模型效率提升98.75%，平均接入耗时从24小时降低到18分钟。

LLM应用平台提供了大模型应用业务的通解 ，已在营销文案生成、货运邀约情绪识别、智能广告素材生成等7个业务场景落地。

LLM应用平台也在逐步完善，会持续不断迭代，为LLM在货拉拉司内落地提供更优质、更高效的服务。

作者简介：货拉拉/技术中心/智能运营部

架构：胡报、李闪磊、管宝鑫、杜典浩

算法：张洪龙、杨丹、邬继豪