欢迎大家来到企业级AI售前机器人实战系列文章: 从0到1完成一个企业级AI售前机器人的实战指南。
本篇是该系列的第七篇,核心内容是:AI应用的团队构成
今天,我们将聚焦于一个常被忽视但至关重要的主题:构建AI应用的高效团队构成。
在AI项目开发中,技术固然重要,但人才是决定项目成败的关键因素。一个结构合理、技能互补的团队能够:
- 加速项目开发进程
开发速度快: 大家各司其职,都知道自己该干嘛,配合起来默契,活儿自然干得快。不会出现"等A干完B才能动"的尴尬卡壳。
- 减少沟通成本
沟通省心省力: 团队结构清晰,谁负责啥门儿清,沟通起来直奔主题,少了很多"鸡同鸭讲"和互相推诿的破事儿。大家在一个频道上,效率高多了。
- 提高解决方案的质量
做出来的东西更靠谱: 不同专业的人把关不同的环节,产品经理想得全,数据搞得准,前后端做得稳,提示词调得精,测试抠得细。这样层层把关,最终方案的质量能不高吗?点子落地也更有保障。
- 确保项目可持续发展
项目能走得更远: 团队技能全面,不是只靠一两个"大神"。万一有人变动,其他人也能顶上,知识和经验能传下去。大家合作顺畅,氛围好,项目才能健康地持续发展,不是昙花一现。
关于我
我是一个十年老程序员、React Contributor,三年前转型至AI在应用层的设计与落地。
目前转型成功,并担任多个AI项目负责人,已经完成了多款智能问答产品的上线、以及TOB产品的功能AI化升级。
本专栏将会基于我过去几年的经验,对各类AI应用落地的方案和思路积累了很多踩坑和迭代经验,进行全方位的AI产品的核心流程拆解!
我相信AI在未来将会是基础设施,而对于普通人而言,基础设施的机会不在基础设施本身,在应用层谋求发展可能是一个不错的出路。
加油!共勉!
回归正题:
团队构成
现在的AI应用跟我们传统的产品相比,团队中的个人职责不同了,并且团队中多了两个岗位,数据人员和提示词工程师。简略的协作图如下:
AI产品经理
AI产品经理作为团队的核心,除了常规的产品能力之外,还需要要具备的基础能力是:能够进行AI应用的工程设计以及配套的功能设计
这就要求必须了解完整的产品流程节点,哪里使用RAG、哪里使用Function call,哪里需要使用提示词解决,哪里需要使用程序解决。
而对应这些流程,还需要设计什么功能与之配合。
岗位要求具备产品经理的基础能力 + AI能力,需要掌握全面的AI落地技能,以及对AI技术发展的关注度和前瞻性。
例如:RAG的落地,因为模型上下文变大,费用降低,所以现在的RAG流程中,可以在资料较少的时候使用完整的资料作为提示词。而不是必须做切片、QA等操作
部分工作内容示例:
-
需求洞察与分析: 深入理解用户需求(尤其是需要AI能力解决的痛点)、市场趋势和竞品,识别AI能创造价值的机会点。
-
产品定义与规划: 制定产品路线图、功能定义(特别是AI功能,如聊天机器人、智能推荐、内容生成、预测分析等)、撰写包含AI特性的产品需求文档。
-
AI应用工程设计: 设计AI应用的工程化路线,交给开发工程师去实现。
-
AI可行性评估: 与技术团队(数据、提示词、后端)评估AI功能的技术可行性、数据可获得性、模型选择方案及成本效益。
-
指标定义与追踪: 定义衡量AI产品成功的关键指标,监控产品表现并进行迭代。
-
跨职能协作: 作为核心枢纽,连接业务、技术(前后端、数据、提示词)、设计、测试等团队,确保目标一致和信息畅通。
-
伦理与合规考量: 关注AI应用可能带来的偏见、公平性、透明度、隐私等伦理和合规风险。
数据人员
数据人员主要是整理、清洗、标注、维护数据,工作线贯穿整个产品的生命周期。
岗位要求较低,不过具备数据整理、收集、等工作经验最佳。
部分工作内容示例:
-
数据需求分析: 理解AI产品经理和模型的需求,明确所需数据的类型、范围、质量要求。
-
数据获取与清洗: 从内部系统、外部API、公开数据集或手动标注等渠道获取数据;进行数据清洗、去噪、格式转换、缺失值处理等,确保数据质量。
-
数据预处理与特征工程: 将原始数据转化为适合模型训练的格式,可能包括特征提取、选择、转换、降维等。
-
数据分析与洞察: 分析数据分布、特征相关性等,为模型选择和产品设计提供洞察。
-
数据治理与安全: 确保数据处理符合隐私政策和安全规范。
前端开发工程师
一件悲伤的事情,实际上在AI应用的开发团队中,前端工程师与常规团队的前端工程师唯一的区别就是,需要使用SSE与后端工程师进行交互。
岗位要求与传统前端开发工程师几乎一致,SSE甚至都不是必须的要求,团队都已经封装好了。
后端开发工程师
后端工程师是AI应用落地的主力开发,完整的工程流程、工作流、Agent的代码部分都是后端完成。
岗位要求具备传统的后端能力之外,还需要实现各种AI应用落地的流程、实现,就需要了解openAI等对接规范
尤其需要掌握大模型不确定性的思维,程序需要对应做出修改。
例如:
提示词是用来判定当前输入的评论内容是否表达了善意,返回N或者Y。
也就是说这个提示词提示词的输入是评论内容
,输出是N
或者Y
。
请问:AI应用工程师要怎么对输出的Y
或者N
进行判断?
if(res === 'Y')
,这样么?
不,他们写if(res.includes('Y'))
。
这里用全等就没有考虑到提示词输出的不确定性。
部分工作内容示例:
-
API设计与开发: 设计和实现供前端调用的API接口,特别是封装AI模型调用的接口。
-
AI模型集成: 集成AI模型(如大语言模型API、开源模型、自研模型)到后端服务中。处理模型调用、输入预处理、输出后处理。
-
RAG等工程代码实现: 开发核心应用逻辑,处理用户请求,操作数据库。
-
提示词编排与服务化: 与提示词工程师紧密合作,将优化后的提示词模板、链式调用逻辑等在后端实现为可复用的服务。
-
性能与扩展性: 优化后端服务性能,设计可扩展的架构以应对AI调用可能的高负载。
-
安全性: 保障API和服务器安全,处理身份认证、授权、数据加密等。
-
任务调度与异步处理: 实现需要长时间运行的AI任务的调度(如生成报告、批量处理)。
提示词工程师
设计、优化、测试和管理用于与大语言模型交互的提示词,确保模型输出符合预期。
与后端工程师合作实现提示词的动态调用和管理;
与产品沟通提示词要解决的问题,然后与工程师协作定义提示词的输入、输出。
为其他岗位提供提示词:例如测试岗的测试结果分析、数据岗的信息提取等....
岗位要求具备一定的技术能力,虽然不需要去编写程序,但是需要和开发沟通,并且在写提示词时,尤其是用到function call能力时,还需要写函数、参数等。
部分工作内容示例:
-
提示词设计: 根据产品需求和AI能力,设计清晰、有效的提示词模板、结构、示例。
-
提示词优化与迭代: 通过系统化的测试(A/B测试等),不断调整提示词措辞、结构、上下文、参数等,提升输出的准确性、相关性、安全性和风格一致性。
-
探索模型能力边界: 深入理解所使用大语言模型的特性和限制,探索如何通过提示词激发其最佳表现。
-
对抗偏见与安全: 设计提示词以尽可能减少模型输出中的偏见、有害内容或不准确信息。
-
构建提示词库与模板: 创建和管理可复用、可组合的提示词库和模板。
-
开发提示词链/工作流: 设计复杂的多步提示词流程。
-
编写提示词规范与文档: 记录提示词设计原则、最佳实践和使用方法。
测试工程师
测试工程师,除了常规的功能测试之外,在AI应用上还要进行召回率、准确率的测试,提示词泄露的安全测试。
特别需要注意的是对AI生成结果的评估工作,这个如果全靠人工测试的话,需要大量的人力投入。
所以这一步,我们依然是使用人工 + AI进行测试。
人工设置测试数据集,然后让AI根据测试的数据集进行打分,完全满足2分,满足一部分1分,不满足0分。
这样测试人工就可以只在最后分析结果就可以了。
岗位要求具备对AI的基础认知,由于AI的不确定性,很多节点测试的其实是准确率,而不是准确与否。
需要分的清,整个流程中,哪些节点必须保证准确率,哪些节点可以有一些偏差。
例如:前面提到的用来判定当前输入的评论内容是否表达了善意,返回N或者Y。
测试的结果就是:这套提示词必须对明确的善意评论,做出100%的准确率。对于相对中性偏善意的评论可以出现部分偏差。
具体要求要看 这个判断结果的作用:
如果是用来打标签,收集数据,那么有一定偏差也没关系。
如果是用结果来做下一个节点的输入,那么这里要求就尽量高了。
结语
最后在补充一下:
数据人员的角色定义可能因项目而异:如果项目涉及微调或训练自己的模型,则数据工程师主要做数据的清洗、标注工作。如果主要使用预训练大模型API,则数据工程师主要做数据的清洗、整理、拆分工作。
提示词工程师是一个新兴且关键的岗位,在基于大语言模型的应用中扮演着"模型操控者"的角色,对最终用户体验影响巨大。
AI测试是重大挑战,需要专门的策略和大量投入(尤其是人工评估)。
后续我会不断把新的内容搬到这个专栏,希望这个系列能够打造成帮助大家落地AI产品时的实战手册!
大家多多点赞 + 关注,给点动力,更新的快快的!
提前订阅不迷路:售前AI机器人掘金专栏地址。
☺️你好,我是华洛,如果你对程序员转型AI产品负责人感兴趣,请给我点个赞。
你可以在这里联系我👉www.yuque.com/hualuo-fztn...
已入驻公众号【华洛AI转型纪实】,欢迎大家围观,后续会分享大量最近三年来的经验和踩过的坑。
专栏文章
# 从0到1打造企业级AI售前机器人------实战指南五:处理用户意图的细节实现!
# 从0到1打造企业级AI售前机器人------实战指南四:用户意图分析(路由解决方案)
# 从0到1打造企业级AI售前机器人------实战指南三:RAG工程的超级优化
# 从0到1打造企业级AI售前机器人------实战指南二:RAG工程落地之数据处理篇🧐