百度智能云千帆大模型平台引领企业创新增长

本文整理自百度世界大会 2024------「智能跃迁 产业加速」论坛的同名演讲。

更多大会演讲内容,请访问:

https://baiduworld.baidu.com


首先,跟大家分享一张图,这个是我们目前大模型应用落地的场景分布。可以看到,大模型广泛渗透到各行各业,场景越来越丰富。

24 年 9 月份,我们发布了百度智能云千帆大模型平台 3.0。包括:模型开发层、模型服务层、应用开发层。提供了最专业的应用开发工具、最丰富的大模型、最全面的工具链。

在企业大模型落地的过程中,要解决很多的问题。最常见的有如何选择模型、如何构建 AI 原生应用、如何优化模型使用效果。我们给大家总结出了 3 大应用落地路径:

  • 模型推理;
  • 模型应用效果优化(包括提示词优化、模型精调、模型能力增强);
  • 大模型应用开发。

首先,讲模型推理。

在模型选择的过程中,我们发现 3 个趋势:

  • 越来越追求效价比,效果更好兼顾成本更低;
  • 根据不同需求,进行大小模型协同;
  • 多模态模式协同工作;

百度智能云千帆大模型平台提供丰富的模型选择,有不同尺寸的大模型、精专垂类模型、以及传统多模态能力等。

第二个路径,模型应用效果优化,分为 3 个手段。最常见的就是提示词优化,包含 Prompt 和 Few-shot 两种方式。

举个例子,法律咨询场景,我给大模型一个指令「你是一个律师,请问经济合同纠纷案的解决流程是什么?」。可以看到大模型给出了一个基础的解决流程的答案。

要上生产环境用大模型代替律师工作,最简单就是通过提示词调优。

可以明显看到,右边增加了人设、风格、指令约束。输出结果更像真人律师,这就是提示词优化的作用。

提示词优化看似容易,其实没有那么简单,有很多的原则来适应模型和应用的需求。

为了进一步降低客户使用门槛,我们今天发布 Prompt 模板。用户可以一键复制,只要稍作改写,大模型的输出效果就会更好。

提示词优化有效果天花板。

如果想进一步提升应用场景下模型能力,第二招对模型进行模型训练,也就是我们经常说的模型精调。精调可以使模型风格、行为和应用需求对齐,有效提升模型效果。

千帆 ModelBuilder 提供的就是全流程的、模型训练和模型精调的工具链,包含:数据管理、训练模式、开发工具、评估优化、推理部署、大模型周边系统。

举个例子,宁波传媒使用千帆 ModelBuilder 模型精调工具,打造了一个小记者作文 AI 点评助手。通过视频来看下开发过程和应用效果。

今天,基于我们平台越来越多的场景实践,沉淀了一系列的模型精调样板间,进一步降低模型调优门槛。

企业只需要跟随样板间的步骤,一步一步设置模型训练的参数,就可以训练出符合企业需求的场景化模型。

我们在千帆 ModelBuilder 工具链不断迭代的过程中,又给大家提供了一个新的方法------模型蒸馏。

通过调用旗舰大模型产生的问答对,经过筛选得到有效的训练数据。在降低数据标注成本的同时,通过精调得到成本更低、耗时更优、效果趋近旗舰模型的轻量级大模型。

举个例子,百度电商数字人直播,通过模型蒸馏后,相比旗舰级模型效果能达到 90%,同时达到旗舰级 6 倍的速度,10% 的成本;更好的适应我们场景应用在效果、性能和成本之间的平衡。

客户在使用面临一个问题:模型刚上线符合预期,过了一段时间模型应用效果下降。

为什么下降?------用户请求 query 结构会发生改变。

怎么办?------持续调优。通过千帆 ModelBuilder 提供的工具链,帮企业建立自己的数据飞轮,根据用户反馈,持续迭代模型,让模型越用越聪明。

大模型应用效果优化第三招:模型能力增强。即给模型增加外部能力,比如检索增强能力和工具能力。

这个例子,是北京大学通过千帆 AppBuilder 的企业级 RAG 能力,打造了一个智能 AI 校园助手「小北学长」。

可以看到,这个校园助手的创建,就是外挂了北京大学独有的 30 万+ 知识文件,满足校园内特定场景的知识问答,回答准确率高达 95% 以上。

今天,千帆 AppBuilder 除了提供企业级 RAG 能力,还有企业级 Agent、企业级部署、企业级集成,共 4 大企业级能力。

大家知道 Agent 具备自主思考、自主编排、记忆、反思等能力,能够自主的做任务规划,一定程度上为企业降本增效。

但也有一些场景,需要严格按照企业的 SOP,也就是设定好的工作流来进行任务执行,就是我们今天全新发布的工作流 Agent 能力。

下面我们来看个例子:通过工作流 Agent,模拟航空公司客服人员,做机票退改签。

通过工作流 Agent,可实现流程高可控、低代码灵活编排、全局知识兜底、丝滑话题切换。

构建智能体应用,逐渐变成一个统一范式。

为了进一步降低应用开发门槛,我将带来今天的第三个发布:大模型应用样板间。

这些应用样板间,覆盖高达 100 多个场景。通过模板,一键复制到自己的工作台,稍作改写,就可以落地成企业自己的应用。

除了智能体作为应用载体之外,还有非常多的企业级传统应用,过去是通过写代码的方式开发,今天我们通过大模型也实现了零代码分钟级开发,它就是 AI 速搭平台。

继 9 月份云智大会发布之后,今天又有了全面的能力升级,实现了移动端的适配。

这个示例,是通过 AI 速搭一句话生成图书管理系统。

今天我的发布到此结束,非常希望通过千帆平台,以及我们的一系列样板间,持续为大家提供最低门槛、最高效易用的大模型落地工具,加速企业落地的最后一公里。

希望大家使用千帆,一起来构建更多的企业级 AI 原生应用。

应用已来,千帆助航。百度智能云千帆大模型平台愿在大模型的浪潮里,与企业一道乘风破浪,引领航向。

相关推荐
低代码布道师1 天前
微搭低代码实战训练营课程总结
低代码
低代码布道师1 天前
微搭低代码实战训练营课后资料包(三)接口文档
低代码
booooooty2 天前
基于Spring AI Alibaba的多智能体RAG应用
java·人工智能·spring·多智能体·rag·spring ai·ai alibaba
knqiufan2 天前
深度解析影响 RAG 召回率的四大支柱——模型、数据、索引与检索
llm·milvus·向量数据库·rag
速易达网络2 天前
RuoYi、Vue CLI 和 uni-app 结合构建跨端全家桶方案
javascript·vue.js·低代码
低代码布道师3 天前
低代码实战训练营教学大纲 (10天)
低代码
NocoBase4 天前
为什么越来越多 Airtable 用户开始尝试 NocoBase?
低代码·开源·资讯
在未来等你4 天前
RAG实战指南 Day 4:LlamaIndex框架实战指南
大语言模型·rag·llamaindex·检索增强生成·ai开发
测试者家园4 天前
基于DeepSeek和crewAI构建测试用例脚本生成器
人工智能·python·测试用例·智能体·智能化测试·crewai
hjs_deeplearning4 天前
认知篇#10:何为分布式与多智能体?二者联系?
人工智能·分布式·深度学习·学习·agent·智能体