随着大模型的风靡,越来越多的企业希望使用大模型来提高自己的服务能力,即在自己的软件中集成大模型的能力,希望让大模型解决一些特定的问题。
大模型的应用开发,其本质上是提示词工程,如何组好提示词,直接决定了整个应用的最终能力。
说到提示词,首先就是常规的提示词技巧。需要认识到的是大模型是整个人类历史知识的集大成者,当然这里说的是通用大模型设计目标。
大模型整体分析
大模型掌握了几乎所有领域的知识,从另一个角度上来说,我们不能先入为主的认为,你现在需要解决A问题,它直接扮演的就是A问题的专家,所以你需要指定它现在扮演的角色。
其次,历史知识的集大成者,因为是历史知识,因此回答不了新出现的知识,比如上了一个新药,然后你去问这个新药的知识,那是得不到想要的结果的。
再次,模型的训练使用的是公开的数据,企业或个人的私有数据知识是不具备的,比如你想做一个企业软件的在线顾问,那么你的企业软件到底是什么,你的软件本身知识,它是无法回答的。
最后,随着大模型的使用,我们需要解决特定的任务,很多时候会希望模型在回答一些问题的时候,我们希望回复中加入业务入口,包括生成业务参数,比如订票等。
另外,涉及到企业数据安全的,就需要模型支持本地化部署,而不是给各大大模型公司无偿提供语料贡献,泄密企业机密。
大模型使用领域知识
让大模型打破历史知识的限制,现在有3个办法:
1、模型微调,也就是说拿新的知识进行模型的二次训练;
2、选择专有模型,从已有的市场上选择已经经过微调的模型;
3、使用提示词技术,将相关的知识检索出来(现在主流的做法是分词后放入向量数据库,使用时使用向量相似度检索相关知识),放在提示词中,主动给大模型提供知识。
大模型与应用集成
应用集成时,无法单纯使用模型输出的对话文字来进行应用的二次集成开发,此时有两个方法:
1、提示词中说明输出格式,应用使用特定格式来解析后进行二次处理,比如规定输出什么内容,格式是什么样的,类型是什么;
2、使用function call机制,让模型来选择后续调用的函数和生成函数参数,通过函数描述,让模型自动选择调用哪个函数。
相关难点
难点一:选择基础模型,需要根据业务情况,考虑模型规模、模型类型,当然微调还需要考虑计算投入;
难点二:数据准备,不管是微调模型还是检索方案,都需要准备语料,数据的预料准备、导入、检索都需要花费大量的精力;
难点三:效果评估,很难通过有效的方式一次性评估模型,达到业务预期,这个时候就需要长期的记录、跟踪,不断进行优化。
关于智能体
智能体目前的机制,其实就是定义标准的SOP,通过不同的角色定义,利用大模型分别进行内容输出,以拼凑出一个完整的系统化结果。
本作品的版权所有权归作者所有,受法律保护。未经作者书面许可,任何个人或组织均不得以任何形式使用、复制、修改、传播、展示或在未获得授权的情况下进行商业利用。