前言
经过了2023年LLM的涌现以后,已经由去年的不知如何把业务场景结合大模型进行落地的不知所措,已经变成了如何高效的使用大模型进行业务落地的转变。而且也不是单纯的使用大模型,而是使用支持高级编排的大模型平台更为重要。下面就以扣子平台coze.cn
为例,展示如何利用扣子使用、插件、知识库、高级编排等方式搭建一个猜灯谜的休闲工具。
扣子是什么?
介绍coze
的文章已经非常多了,在此不过多介绍。可以研究官方文档:coze文档中心
智能体又是什么?
在维基百科中查询
那么在LLM语境下,我们可以简单的理解为能够感知,自主理解、自我规划路径、执行任务的智能实体或程序。 简单的工作原理如下图:
带入本文目标的话,也就是猜灯谜Bot是我们要创建的智能体,通过感知用户输入,自动进行规划决策执行输入结果给用户。
创建bot准备工作
- 自定义一个插件
视频教程: 省流版:
- 进入
个人空间
-插件
点击创建插件
填写插件信息
关注点:插件url就是API地址
授权方式:不需要授权就是可以任意访问,需要授权时可以选择Service
或者Oauth
,详细可以访问文档中心。
- 创建工具 插件信息保存后,我们还需要创建工具
一共分四步,要注意填写的路径,配置的输入参数,输出参数可以不用把API返回的全部都输出,看自己需要把核心输出就行了,我就是把API返回的谜语List下的一个谜面,一个谜底输出了,总共就输出俩字段。 这样方便大模型整理。
插件创建好最后一步调试正常,就代表插件没有问题了。然后要发布,才能在后面的工作流中选中到。
- 自定义一个工作流
视频教程: 省流版:
- 进入
个人空间
-工作流
点击创建工作流
填写工作流信息保存后进入到编排页面
在左侧可以看到我们之前发布的插件谜语搜索,然后点+
添加节点到工作流中。 这个工作流比较简单,只有3个节点;你也可以选择基础节点,其他插件或工作流都可以加入到现有的工作流中。
- 开始节点:定义
keyword
为搜索关键词,且必填。 - 谜语搜索节点:上一个节点的输入使用引用方式作为当前节点的输入,也命名为
keyword
;输出就是要根据API响应的格式进行编写。这里我们定义为result
值为API返回的谜语list - 结束节点:使用由Bot生成回答方式来输出给用户,这里把list中的谜面-content,谜底-answer输出。
- 试运行一下可以看到每一个节点的输出,和最终结束的输出。没有问题发布一下。
创建Bot,整合插件和工作流
最左侧写提示词,提示词采用的是one-shot方式设置;中间为核心配置,中间部分为猜灯谜bot整合一个之前创建好的工作流,数据库可加可不加,这里加了一个用于存储生成的谜面和谜底。右侧是调试演示的效果。
我们发现提问"关于键盘的谜语" 大模型可以正确理解识别输入的关键词,并进入到工作流中调用插件获取谜语。 但是如果提问"出一个关于键盘的谜语",发现大模型没有理解识别到关键词,完全是由大模型本身回答的,而且这个回答的质量 emmm...确实不尽人意。
那么怎么去优化呢?两方面
- 提示词优化 尝试删除提示词中的技能二部分。
效果很明显,这两种提问方式都可以正确进入工作流并通过插件的响应,把谜语返回到用户端。
- 工作流优化
尝试了下增加了一个大模型节点,大模型理解提示词和回答都不正确,未能优化成功,不知是否有高人有经验指导一下?
最后,我们让大模型把谜语保存下来,积累多的话就是一个完美的数据集,再反哺到知识库中。这样在工作流中就可以增加一个知识库节点,并通过选择器来判断,当前用户有没有提问过同样的问题,让大模型选择走调用插件还是通过知识库提取,提高回答的速度和节省成本(插件中谜语API是收费的,减少调用就节省了费用)。这个思路可以用于生产环境中。这一块的操作就留给你们去思考如何实现,也欢迎评论区交流~
保存成功了,nice~~
如果觉得没有问题的话,可以点击发布到coze
总结
- 扣子的bot创建整体是比较清晰流畅的
- 完全适合新手!有提示词优化、有logo自动生成、有工作流每一节点的输入输出显示,都是比较人性化的
说说缺点
- 高级编排的画布不能整体拖动,编排时有点费劲、且比较简单,大模型节点不支持添加限定词,不支持文本二次加工,不支持类似触发器操作
- 工作流中的大模型理解能力较差
总体上手难度不高,对非研发人员也有较好的体验,短时间内就可以发布出一个专属的智能体。高级编排从去年下半年开始火起来之后,2024必定是大爆发的一年!谁能提供操作更简单功能更强大的平台,就会吸引更多的开发者,AI原生应用势不可挡了!!
BOT ID:7339914548826128393