2024年云中AI工程的三大关键趋势

在过去的 20 年,创新为我们造就了众多转折点,于这些转折点处,全新的职业类别得以应运而生。回想一下,2006 年亚马逊网络服务推出后,云端架构师与开发者的职位便顺势出现;伴随 iPhone 和 Android 的兴起,移动开发者成为了崭新的职业角色;当我们积累了充足的数据和计算能力,足以让神经网络运行时,机器学习工程师这一职业就此产生;而后,上述三种趋势相互交汇融合,数据科学家的职业开始引人注目。

这些新职业的诞生均是对新兴技术的直接回应,它们不但改变了工作的方式,还塑造了全新的行业标准与需求。每一轮的技术革命都会催生一批新的专家角色,他们凭借最新的技术去解决繁杂的问题,有力地推动了社会和经济的发展。

沿着这样的演变轨迹,我们当下或许已经抵达了另一个转折点:AI 工程师的兴起。在过去几年,AI 工程师日益流行,他们处在运用大型语言模型及其相关工具来构建生成式 AI 聊天机器人、Agent 以及其他能力的前沿位置。

随着基础模型和 AI 工程的逐渐成熟,一些趋势开始显露。我们与 SADA 公司的 Google Cloud 供应商、人工智能和机器学习副首席技术官 Simon Margolis 进行交流,以了解他们对于当前 AI 工程领域的观察以及后续可能出现的状况。

"这取决于你在生成式AI总体采用曲线上的位置,"Margolis说。"有些人还在试水,而有些人则在ChatGPT风靡全球之前就已经在做生成式AI工作了。你在这条发展路径上的位置,实际上深深影响着你所关注的核心趋势。"

总体而言,Margolis在2024年中期为AI工程师指出了三大关键趋势:

1)无代码构建AI Agent:即使不具备编程背景或专业技能,如今也能轻松创建AI Agent,技术的门槛正被逐渐抹平。

2)传统AI与生成式AI的融合:不再是单一领域的探索,而是将机器学习与生成式AI等不同AI"模态"巧妙结合,创造出更加强大且灵活的应用场景。

3)AI自我迭代:利用生成式AI助力生成式AI Agent的构建,这一循环增强的过程,使得AI的进化更为高效与智能。

1.无需代码构建AI Agent

两大生成式AI平台------Google Cloud和OpenAI------都致力于让AI工程师能够更轻松地构建AI Agent,而无需过多纠结于基础模型或向量数据库本身。两者都引入了用于构建Agent的工具,Google Cloud的Vertex AI中的Agent Builder,以及OpenAI的GPT系列。

"对于早期的尝鲜者而言,最显著的趋势之一便是无需深厚技术功底就能打造生成式Agent," Margolis提到。"以往,你得精通Transformer和RAG等技术细节,但现在,这种需求大大降低了。"

他强调,虽然仍有极客在手造Agent,但Agent Builder和GPTs已成为主流工具,广泛应用于实践。

简化技术要求,让构建Agent变得触手可及,这不仅激发了创新,还赋予了一线业务人员自行搭建Agent的能力,减少了对专业开发者的依赖。

Margolis解释说:"简单来讲,你从各种来源------可能是私有数据库、互联网或是两者的结合------提取信息,然后利用这些数据指导AI工具或生成式助手的工作。"这与过去一两年流行的LangChain模式相似,即通过不断迭代提升输出质量,直至达到预期效果。不同的是,如今这个过程变得更加直观易懂。

借助Agent Builder和GPTs这类工具,即便是非专业人士也能轻松上手,仅凭日常语言或直观操作界面就能完成任务,使解决方案的实施变得更加直接有效。

2.融合传统AI与生成式AI

结合不同AI"模态"的想法可能对AI工程师来说更具实际兴趣。值得注意的是,当Margolis谈论模态时,他指的是我们可能认为的"传统"机器学习与新型基础模型和生成式AI之间的区别。这不同于生成式AI内部的模态概念,在那里输入和输出取决于媒介,如文本、音频、视频或翻译。

当Margolis提及"模态"时,他实际上是在区分传统机器学习领域与新兴的基础模型及生成式AI技术之间的工作方式和特性。换句话说,"模态"指的是不同类型的AI处理方式或技术路径。对于AI工程师而言,如何有效地结合这些不同的"模态"以创造更强大、多功能的AI系统是一项挑战和机遇。

"以往人们要么在生成式AI领域工作,要么在围绕推断和预测的传统机器学习世界里工作,但现在我们开始看到这两个领域的融合。"

Margolis强调,生成式AI的运用不必依赖于专门的AI代理或聊天机器人构建。他举例说明,在医疗保健领域,AI能以生成文本的方式整理和展现由医护人员录入的患者信息。随后,集成有推理功能的AI工具会在同一系统内分析这些信息,识别潜在的高风险病例。

回顾过去,Margolis解释道:"若要开发类似医疗案例的应用,我得求助于懂模型搭建的ML专家同事,他们可能得用JAX或TensorFlow帮我打造预测模型,还得亲自操作GPU硬件,整个过程牵涉繁重的ML工程和数据科学任务。"而今,借助生成式AI,他可以直接将所需数据输入到预训练模型中进行处理,这一转变要求截然不同的专业技能。

为了缩小传统机器学习与生成式AI间的鸿沟,诸如Google Cloud的Vertex AI平台之类的工具应运而生,SADA作为其优选合作伙伴,正致力于此。Margolis指出:"现在,工程师可以利用Vertex轻松创建AutoML模型。虽然这不是完全无代码的体验,但大大减少了编码需求。无需从头构建模型,无需编写TensorFlow或JAX代码,也无需管理GPU或底层系统架构。"

这样的进步意味着工程师们可以更加专注于应用层面的创新,而非被底层技术细节所束缚。

3.利用生成式AI来构建更多的生成式AI

尽管我们离计算机自我组装并自动编程的时代尚远,但AI工程界的一项引人注目的进展是,生成式AI正在助力构建更多同类型的AI实体、机器人以及应用程序。这是一个循环促进的过程,正如Margolis所说,它开启了广泛的参与机会。

"这确实是一个突破性的模式,让更多人有机会投身其中,"Margolis评论道。

他将此现象与云计算领域近十至十五年来的重要转折相提并论,尤其是2010年左右,开发者首次能够在云中便捷地部署虚拟机;再到2014年前后,移动应用的开发门槛显著降低,使得更多人得以加入。

"这就像我们在公有云时代所见证的'啊哈'时刻,"Margolis回忆道,"当每个初学计算机科学或系统设计的学生,大约在2010年左右,都能独立搭建服务器和数据库时,那真是让人振奋。对于想要涉足AI领域的新人,一年半前还面临着一座难以逾越的高山。那时,你需要投入大量的时间和精力才能将你的构想变为现实。而现在,我们已处于一个创意即实践的阶段,有时,你甚至能在一顿午餐的时间内就完成一项初步作品。"

"如今,入行的障碍已被大幅削减,这对于所有人来说都是一大利好。"这意味着,生成式AI技术的探索和应用正变得越来越普及,为创新和实际应用开辟了更广阔的空间。

相关推荐
6<7几秒前
【go】静态类型与动态类型
开发语言·后端·golang
热爱运维的小七1 分钟前
从数据透视到AI分析,用四层架构解决运维难题
运维·人工智能·架构
lamdaxu2 分钟前
Arthas基础
后端
技术liul6 分钟前
解决Spring Boot Configuration Annotation Processor not configured
java·spring boot·后端
小华同学ai12 分钟前
1K star!这个开源项目让短信集成简单到离谱,开发效率直接翻倍!
后端·程序员·github
卧式纯绿13 分钟前
每日文献(八)——Part one
人工智能·yolo·目标检测·计算机视觉·目标跟踪·cnn
HelloDam13 分钟前
基于元素小组的归并排序算法
后端·算法·排序算法
Net分享14 分钟前
在 ASP.NET Core 中使用 Confluent.Kafka 实现 Kafka 生产者和消费者
后端
HelloDam14 分钟前
单元格法近似求解多边形最大内接矩形问题【思路讲解+java实现】
后端