现在有很多人都会问, 这个大模型应用开发到底是要做哪些工作的? 有许多小伙伴都表示他们想要去学习大模型应用开发的技术, 可是他们却不知道这项技术有什么用。他们在学完之后又究竟能够去做什么样的工作? 还有呢, 一些同学把大模型应用开发和训练大模型混为一谈。
其实, AI加速波和大家说清楚这个事, 大模型应用开发它不是训练大模型本身。要搞清楚这一点, 预训练或者微调基座模型这些工作, 它们属于模型研发。而所谓的应用开发, 是基于现成的那个模型API, 或者是本地部署的模型, 来搭建那些能解决具体业务问题的应用系统。
业内通常管这叫做LLM应用工程。整个部分被划分成了好多个小的环节, 首先是需求设计, 接着是提示词工程, 然后再是做RAG和Agent开发的工作, 之后把服务进行封装起来, 接下来是前端交互这一块, 然后是测试, 最后才是部署运维。
一、需要对需求进行细致的拆解, 并且要完成方案的设计工作。
把业务上的需求情况, 翻译成那种能让大模型去执行的方案安排。
1、明确具体的使用场景: 包含知识库问答, 智能客服, 文档摘要, 代码助手, 数据分析Agent等。
2、需要进行选择的判断工作, 具体的选项包括是使用通义千问以及文心一言等公有API, 还是选择将模型进行本地的私有化部署;同时还必须考虑是否需要引入RAG技术、是否要配备Agent功能以及是否需要接入多模态能力。
3、划定边界:模型幻觉风险、输出格式、并发、成本、权限、合规要求
4、在架构设计方面, 需要涵盖向量库, 需要涵盖后端服务, 需要涵盖存储, 需要涵盖前端, 还需要涵盖鉴权模块。
二、提示词工程( )
这是最为基础的操作, 同时也是几乎所有的大模型应用都必须要去执行的事情。
为了帮助你编写系统提示词, 我将从角色设定、核心规则、输出以及约束条件这四个关键维度来进行拆解和说明。
提供少数样本来进行示例, 应用思维链条方法, 以及实现结构化的数据输出格式比如JSON。
通过提示词优化, 来减少虚假信息的生成问题, 把使用的语气控制住不跑偏, 并且要阻止外来的攻击性内容进行注入。
对提示词版本进行管理, 并且支持进行A/B测试。

关于大模型应用开发这个事儿, 到底主要包含哪些具体的工作内容呢。
三、所谓RAG检索增强生成, 它属于当下最为主流的那种落地方案。
针对大模型在知识更新不及时、私有化数据处理能力不足以及容易产生不实幻觉等突出问题, 寻求有效的解决之道。
1.在处理文档的时候, 我们需要先把那些像PDF或者Word格式的文件以及网页里面的内容全部拿出来, 然后对提取出来的文字进行清洗操作, 并且去掉里面那些没用的噪音数据。
2.把文本分成小块, 这里面的分块策略以及通过设置重叠部分来让窗口优化的做法。
3.启动模型操作来把文本内容转换成为向量格式的这一行为, 就是通常所说的向量化过程。
4.把向量数据存进到了那个可以存储向量的数据库里面, 这里面包括了像FAISS这样的工具, 还有一些其他的类似的系统选项等等。
5.检索的逻辑是这样的, 用户提出了问题之后呢, 系统就会对这个问题进行向量化处理, 然后去进行相似度的检索, 这样就能召回那些相关的片段了。
6.就是先把检索到的那些资料, 然后再加上用户提出的问题, 这两样东西一起丢给大模型去用,从而生成出答案。
四、关于智能体开发的这个过程, 具体来说就是在处理那些比较复杂的任务的时候进行开发和构建。
这种情况是适合的, 特别是那些需要人们或多步思维来一步步推导, 或者需要去使用特定工具进行处理的情境。
规划模块负责让大模型对任务进行拆解处理, 通过让大模型去思考下一步究竟需要做些什么事情。
进行工具封装的操作, 需要编写相应的函数, 从而使得模型能够实现对代码执行的调用, 同时对数据库查询以及API接口和文件读写等操作也能进行调用。
记忆管理这个功能, 它包含了短期对话记忆这一部分, 同时也包括了长期用户记忆这一部分。
在循环控制方面, 我们需要进行思考, 接着采取行动, 然后再去观察情况, 如此往复, 一直做到任务完全结束为止;同时, 还要考虑终止条件, 以防止出现死循环。
典型的代表情况, 比如那款用来自动处理分析数据的智能助手, 还有那个专门负责处理科研领域内部文献资料的人工智能机器人。
五、对后端的服务进行封装, 并且开发出相应的接口。
先把那大模型的能力给封装起来, 变成非常稳定的服务, 然后就去给那个前端或者是业务系统来调用。
把大模型API的调用过程进行封装操作, 在这个封装过程中具体实施重试机制、限流策略、超时处理以及熔断功能。
采用流式输出的方式来呈现sse, 从而营造出类似于打字机那样逐个字显示的视觉效果。
进行鉴权操作, 对用户会话进行管理, 以及对对话历史进行存储。
关于成本统计这一块, 主要是涉及到 token 数量的计算、相关费用的计费情况以及速率限制的问题。
多模型路由功能是这样实现的, 它会根据具体的任务需求, 来自动地完成对不同大模型的切换工作。
六、前端交互开发
面向用户的那个界面。
在对话聊天的那个界面里, 还有用来上传文档的具体页面, 以及专门用于展示最终结果的面板。
支持用户进行文件的上传操作, 支持通过拖拽的方式添加文件, 支持查看对话的历史记录, 以及支持导出处理的结果。
它是流式渲染,它还包含了加载状态的内容, 它也提供了错误提示的信息。

AI大模型应用开发主要做哪些工作?
七、进行评估, 进行调优, 以及进行安全方面的对齐。
在大模型应用与普通软件之间, 存在一个最大的不同点, 那就是前者的输出结果并不具备绝对的确定性, 所以我们在实际使用中必须建立起相应的评估机制。
进行效果评估, 也就是通过构建评测集来评估准确率以及评估幻觉率, 还有评估相关性。
调优的手段包括提示词优化以及RAG召回策略的参数调整;在必要的情况之下, 还会进行SFT或者是RLHF的微调, 这一部分属于进阶的范畴。
在安全防护这一环节, 我们需要对输入内容进行过滤, 对输出内容进行审核, 还要防止注入攻击, 并对敏感信息进行脱敏处理。
监控:识别模型幻觉、违规内容、异常请求
八、进行部署工作, 负责日常运维事宜, 并且持续开展版本的迭代优化更新。
在部署方面, 支持使用容器技术以及K8s集群进行部署;服务模式覆盖了公有云和私有化这两种类型。
能够实现全方位的实时观测, 涵盖的维度包括了日志数据、Token的实际消耗情况、系统的响应延迟时间以及接口的失败率监控。
需要持续地做出改变, 要一边收集用户在实际使用中发现的错误情况, 另一边又把收集来的信息用于改进系统, 让提醒用户的语句、存放资料的地方还有负责安排事务的程序逻辑都变得更好。
九、简单来说, 可以对岗位侧重点加以区分。
1、这位大模型应用开发工程师, 需要关注上面介绍的整套内容, 其中重点在于RAG、Agent、服务封装、提示词以及向量库这些方面。
2、提示词工程师:偏提示词、评测、内容策略
3、大模型算法工程师, 这个岗位主要负责基座模型的微调工作, 同时还涉及模型压缩任务以及偏向于底层逻辑的模型训练环节。
4、前端和全栈方向的人员, 主要负责处理界面设计以及实现流式的交互功能。
十、大家平时容易见到的, 适合初学者入门的技术栈有哪些呢。
首先准备向量库, 接着设置好模型, 最后开启SSE功能。