GPT 大模型应用开发概览

随着大模型的风靡,越来越多的企业希望使用大模型来提高自己的服务能力,即在自己的软件中集成大模型的能力,希望让大模型解决一些特定的问题。

大模型的应用开发,其本质上是提示词工程,如何组好提示词,直接决定了整个应用的最终能力。

说到提示词,首先就是常规的提示词技巧。需要认识到的是大模型是整个人类历史知识的集大成者,当然这里说的是通用大模型设计目标。

大模型整体分析

大模型掌握了几乎所有领域的知识,从另一个角度上来说,我们不能先入为主的认为,你现在需要解决A问题,它直接扮演的就是A问题的专家,所以你需要指定它现在扮演的角色。

其次,历史知识的集大成者,因为是历史知识,因此回答不了新出现的知识,比如上了一个新药,然后你去问这个新药的知识,那是得不到想要的结果的。

再次,模型的训练使用的是公开的数据,企业或个人的私有数据知识是不具备的,比如你想做一个企业软件的在线顾问,那么你的企业软件到底是什么,你的软件本身知识,它是无法回答的。

最后,随着大模型的使用,我们需要解决特定的任务,很多时候会希望模型在回答一些问题的时候,我们希望回复中加入业务入口,包括生成业务参数,比如订票等。

另外,涉及到企业数据安全的,就需要模型支持本地化部署,而不是给各大大模型公司无偿提供语料贡献,泄密企业机密。

大模型使用领域知识

让大模型打破历史知识的限制,现在有3个办法:

1、模型微调,也就是说拿新的知识进行模型的二次训练;

2、选择专有模型,从已有的市场上选择已经经过微调的模型;

3、使用提示词技术,将相关的知识检索出来(现在主流的做法是分词后放入向量数据库,使用时使用向量相似度检索相关知识),放在提示词中,主动给大模型提供知识。

大模型与应用集成

应用集成时,无法单纯使用模型输出的对话文字来进行应用的二次集成开发,此时有两个方法:

1、提示词中说明输出格式,应用使用特定格式来解析后进行二次处理,比如规定输出什么内容,格式是什么样的,类型是什么;

2、使用function call机制,让模型来选择后续调用的函数和生成函数参数,通过函数描述,让模型自动选择调用哪个函数。

相关难点

难点一:选择基础模型,需要根据业务情况,考虑模型规模、模型类型,当然微调还需要考虑计算投入;

难点二:数据准备,不管是微调模型还是检索方案,都需要准备语料,数据的预料准备、导入、检索都需要花费大量的精力;

难点三:效果评估,很难通过有效的方式一次性评估模型,达到业务预期,这个时候就需要长期的记录、跟踪,不断进行优化。

关于智能体

智能体目前的机制,其实就是定义标准的SOP,通过不同的角色定义,利用大模型分别进行内容输出,以拼凑出一个完整的系统化结果。

本作品的版权所有权归作者所有,受法律保护。未经作者书面许可,任何个人或组织均不得以任何形式使用、复制、修改、传播、展示或在未获得授权的情况下进行商业利用。

相关推荐
北京搜维尔科技有限公司10 分钟前
搜维尔科技:【应用】Xsens在荷兰车辆管理局人体工程学评估中的应用
人工智能·安全
说私域13 分钟前
基于开源 AI 智能名片 S2B2C 商城小程序的视频号交易小程序优化研究
人工智能·小程序·零售
YRr YRr13 分钟前
深度学习:Transformer Decoder详解
人工智能·深度学习·transformer
知来者逆18 分钟前
研究大语言模型在心理保健智能顾问的有效性和挑战
人工智能·神经网络·机器学习·语言模型·自然语言处理
云起无垠27 分钟前
技术分享 | 大语言模型赋能软件测试:开启智能软件安全新时代
人工智能·安全·语言模型
老艾的AI世界41 分钟前
新一代AI换脸更自然,DeepLiveCam下载介绍(可直播)
图像处理·人工智能·深度学习·神经网络·目标检测·机器学习·ai换脸·视频换脸·直播换脸·图片换脸
翔云API1 小时前
PHP静默活体识别API接口应用场景与集成方案
人工智能
浊酒南街1 小时前
吴恩达深度学习笔记:卷积神经网络(Foundations of Convolutional Neural Networks)4.9-4.10
人工智能·深度学习·神经网络·cnn
Tony聊跨境1 小时前
独立站SEO类型及优化:来检查这些方面你有没有落下
网络·人工智能·tcp/ip·ip
懒惰才能让科技进步2 小时前
从零学习大模型(十二)-----基于梯度的重要性剪枝(Gradient-based Pruning)
人工智能·深度学习·学习·算法·chatgpt·transformer·剪枝