《Transformers for Natural Language Processing》第一章：什么是Transformers？

变换器是为超级计算机上的并行计算而设计的工业化、同质化的深度学习模型。通过同质化，一个变换器模型可以在不需要微调的情况下执行各种任务。变换器可以在数十亿条未标记的原始数据记录上进行自监督学习，具有数十亿个参数。

这些特定的后深度学习体系结构被称为基础模型。基础模型变换器代表了从2015年开始的第四次工业革命的顶峰，这一革命以机器之间的自动化为特征，将一切与一切连接起来。人工智能总体而言，特别是面向工业4.0（I4.0）的自然语言处理（NLP）已经远远超越了过去的软件实践。

不到五年的时间，人工智能已经成为一种有效的云服务，提供无缝的API。以前下载库并进行开发的范式在许多情况下已经成为一种教育练习。

工业4.0项目经理可以访问OpenAI的云平台，注册，获取API密钥，并在几分钟内开始工作。然后用户可以输入文本，指定NLP任务，并获得由GPT-3变换器引擎发送的响应。最后，用户可以访问GPT-3 Codex并创建应用程序，无需了解编程知识。提示工程是从这些模型中产生的新技能。

然而，有时候GPT-3模型可能不适用于特定任务。例如，项目经理、顾问或开发人员可能想要使用由Google AI、Amazon Web Services（AWS）、Allen Institute for AI或Hugging Face提供的其他系统。

项目经理是否应选择在本地工作？还是应该直接在Google Cloud、Microsoft Azure或AWS上进行实施？开发团队应选择Hugging Face、Google Trax、OpenAI还是AllenNLP？人工智能专家或数据科学家是否应该使用几乎没有人工智能开发的API？

答案是以上都有可能。您无法预测未来雇主、客户或用户可能需要或规定什么。因此，您必须随时准备适应任何需要。本书不描述市场上所有的提供，但提供了足够多的解决方案，以适应工业4.0驱动的NLP挑战。

本章首先以高层次解释了变换器是什么。然后，本章解释了实施变换器的各种方法的灵活理解的重要性。由于市场上提供的API和自动化数量众多，平台、框架、库和语言的定义变得模糊。

最后，本章介绍了在嵌入式变换器方面取得的进展，以及工业4.0人工智能专家的角色。

在我们开始探索本书中描述的各种变换器模型实现的生态系统之前，我们需要解决这些关键概念。

本章涵盖以下主题：

• 第四次工业革命，工业4.0的出现
• 基础模型的范式转变
• 介绍提示工程，一项新技能
• 变换器的背景
• 实施变换器的挑战
• 颠覆性的变换器模型API
• 选择变换器库的难度
• 选择变换器模型的难度
• 工业4.0人工智能专家的新角色
• 嵌入式变换器

我们的第一步将是探索变换器的生态系统。

Transformers的生态

变换器模型代表了如此巨大的范式转变，以至于需要一个新的名称来描述它们：基础模型。因此，斯坦福大学创建了基础模型研究中心（CRFM）。在2021年8月，CRFM发布了一份由一百多名科学家和专业人士撰写的两百页报告（请参见参考文献部分）：《关于基础模型的机会和风险》。

基础模型并非由学术界创造，而是由大科技行业创建的。例如，Google发明了变换器模型，从而导致了Google BERT。微软与OpenAI合作生产了GPT-3。

大科技公司不得不找到更好的模型来应对他们数据中心中流入的百亿字节数据的指数级增长。因此，变换器模型是出于必要性而诞生的。

首先，让我们考虑工业4.0，以理解需要拥有工业化人工智能模型的需求。

工业4.0

农业革命引领了第一次工业革命，引入了机械。第二次工业革命诞生了电力、电话和飞机。第三次工业革命是数字化的。

第四次工业革命，或称为工业4.0，催生了无限数量的机器之间的连接：机器人、机器人、连接设备、自动驾驶汽车、智能手机、从社交媒体存储中收集数据的机器人等等。

反过来，这些数百万台机器和机器人每天生成数十亿条数据记录：图像、声音、文字和事件，如图1.1所示：

基础模型

变换器具有两个明显的特点：高度同质化和令人震惊的新兴属性。同质化使得可以使用一个模型执行各种各样的任务。这些能力是通过在超级计算机上训练百亿参数模型而产生的。

这种范式的改变使得基础模型成为深度学习后的生态系统，如图1.2所示：

基础模型，尽管采用了创新的架构，但是建立在人工智能的历史之上。因此，人工智能专家的技能范围正在扩展！

当前的变换器模型生态系统与人工智能的任何其他演进都不同，可以用以下四个属性来总结：

1. 模型架构 这个模型是工业化的。模型的层次结构是相同的，并且它们专门设计用于并行处理。我们将在第2章《开始使用变换器模型的架构》中详细讨论变换器的架构。
2. 数据 大科技公司拥有人类历史上最庞大的数据源，首先由第三次工业革命（数字化）产生，并由工业4.0推动到难以想象的规模。
3. 计算能力 大科技公司拥有前所未见规模的计算能力。例如，GPT-3的训练速度约为每秒50 PetaFLOPS，而谷歌现在拥有领域特定的超级计算机，超过每秒80 PetaFLOPS。
4. 提示工程 经过高度训练的变换器可以通过提示来执行任务。提示以自然语言输入。然而，所使用的词语需要一定的结构，使提示成为一种元语言。

因此，基础模型是在超级计算机上使用数十亿条数据记录和数十亿个参数进行训练的变换器模型。然后，该模型可以执行各种各样的任务，无需进一步的微调。因此，基础模型的规模是独一无二的。这些完全训练过的模型通常被称为引擎。因此，只有GPT-3、Google BERT和少数几个变换器引擎可以被视为基础模型。

现在让我们探讨一个基础模型如何工作以及如何改变我们开发程序的方式的示例。

编程是否正在成为自然语言处理（NLP）的一个子领域？

陈等人（2021年）在2021年8月发表了一篇关于Codex的重要论文，Codex是一个能够将自然语言转化为源代码的GPT-3模型。Codex是在5400万个公共GitHub软件仓库上进行训练的。Codex可以生成有趣的自然语言到源代码的转化，我们将在第16章《变换器驱动合作伙伴的出现》中看到这一点。

现在，编程是否成为了从自然语言到源代码语言的翻译任务？

编程是否正在成为GPT-3引擎的自然语言处理任务？

在回答这个问题之前，让我们先看一个示例。

请记住，Codex是一种随机算法，因此元语言是棘手的。如果不小心正确构建提示，可能无法生成预期的结果。

在我进行Codex实验时，我创建了一些提示。这个示例只是为了让你了解Codex是如何工作的，纯粹用于教育目的。

我的提示包括：

• 在Python中生成一个包含1到100之间200个整数的随机分布
• 使用matplotlib绘制数据
• 创建一个具有3个中心的k均值聚类模型并拟合模型
• 打印聚类标签
• 绘制聚类
• 绘制带有中心的聚类

Codex自动将我的自然元语言提示翻译成了Python代码！

由于Codex是一种随机模型，如果你再次尝试，可能不会生成完全相同的代码。你需要通过实验来学习元语言，直到能够像驾驶赛车一样熟练掌握它！

生成的Python程序可以自动创建并进行测试：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.datasets.samples_generator import make_blobs
# generate random data
np.random.seed(0)
X, y = make_blobs(n_samples=200, centers=3, n_features=2, cluster_std=2, random_state=0)
# plot the data
plt.scatter(X[:, 0], X[:, 1], s=50)
plt.show()
# create the k-means model
kmeans = KMeans(n_clusters=3, random_state=0)
# fit the model to the data
kmeans.fit(X)
# print the cluster labels
print(kmeans.labels_)
#plot the clusters
plt.scatter(X[:, 0], X[:, 1], c=kmeans.labels_, cmap='rainbow')
plt.show()
# plot the clusters with centroids
plt.scatter(X[:, 0], X[:, 1], c=kmeans.labels_, cmap='rainbow')
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], c='black', s=100, alpha=0.5)
plt.show()

你可以复制并粘贴这个程序。它可以运行。你还可以尝试JavaScript，以及其他实验。

GitHub Copilot现在已经与一些微软开发工具一起提供，我们将在第16章《变换器驱动合作伙伴的出现》中看到。如果你学会了提示工程的元语言，将会在未来几年内减少你的开发时间。

最终用户可以在掌握了元语言后创建原型或完成小任务。未来，编程合作伙伴将不断扩展。

我们将在第16章中看到Codex在人工智能未来的定位。

在这一点上，让我们来一窥人工智能专家光明的未来。

人工智能专家的未来

不应低估基础模型的社会影响。提示工程已经成为人工智能专家所需的技能。然而，人工智能专家的未来不能仅局限于变换器。在工业4.0中，人工智能和数据科学有重叠。

人工智能专家将参与使用经典人工智能、物联网、边缘计算等进行机器之间算法的开发。人工智能专家还将使用经典算法设计和开发有趣的机器人、服务器和各种连接设备之间的连接。

因此，本书不仅涵盖了提示工程，还涵盖了成为"工业4.0人工智能专家"或"工业4.0人工智能专家"的广泛设计技能。

提示工程是人工智能专家需要发展的设计技能的一部分。在本书中，我将将未来的人工智能专家称为"工业4.0人工智能专家"。

现在让我们总体了解一下变换器如何优化自然语言处理模型。

使用变换器优化自然语言处理模型

循环神经网络（RNNs），包括LSTMs，在自然语言处理序列模型中使用神经网络已经有数十年的历史。然而，在面对长序列和大量参数时，使用循环功能会达到极限。因此，目前最先进的变换器模型占据主导地位。

本节简要介绍了导致变换器出现的自然语言处理的背景，我们将在第2章《开始使用变换器模型的架构》中更详细地描述。然而，首先，让我们直观地看一下替代了NLP神经网络中的RNN层的变换器的注意力头。

变换器的核心概念可以粗略地总结为"混合标记"。NLP模型首先将单词序列转化为标记。RNNs在循环函数中分析这些标记。而变换器不会按顺序分析标记，而是将每个标记与序列中的其他标记相关联，如图1.3所示：

我们将在第2章中详细介绍注意力头的细节。目前，图1.3的要点是序列中的每个单词（标记）与序列中的所有其他单词相关联。这个模型为工业4.0自然语言处理打开了大门。

让我们简要了解一下变换器的背景。

变换器的背景

在过去的100多年里，许多杰出的思想家都致力于序列模式和语言建模。结果，机器逐渐学会了如何预测单词序列的可能性。要列举所有使这成为可能的巨匠将需要一本整书。

在本节中，我将与您分享一些我最喜欢的研究人员，为变换器的到来奠定基础。

在20世纪初，安德烈·马尔可夫引入了随机值的概念，并创建了随机过程理论。我们在人工智能中称之为马尔可夫决策过程（MDP）、马尔可夫链和马尔可夫过程。在20世纪初，马尔可夫表明我们可以仅使用链的最近元素来预测链、序列的下一个元素。他将他的方法应用于一个包含成千上万封信的数据集，使用过去的序列来预测句子中的下一个字母。请记住，他没有计算机，但他证明了今天在人工智能中仍在使用的理论。

1948年，克劳德·香农发表了《通信的数学理论》。克劳德·香农为基于源编码器、发射机和接收机或语义解码器的通信模型奠定了基础。他创立了我们今天所知的信息理论。

1950年，艾伦·图灵发表了他的重要文章《计算机与智能》。艾伦·图灵基于成功的图灵机（Turing machine）来撰写这篇文章，该机器在第二次世界大战期间解密了德国的消息。这些消息由一系列单词和数字组成。

1954年，乔治敦-IBM实验使用计算机使用规则系统将俄语句子翻译成英语。规则系统是一个运行规则列表的程序，该列表将分析语言结构。规则系统仍然存在，并且无处不在。然而，在某些情况下，机器智能可以通过自动学习模式来替代数十亿种语言组合的规则列表。

术语"人工智能"首次由约翰·麦卡锡于1956年使用，当时确立了机器可以学习的事实。

1982年，约翰·霍普菲尔德引入了一种RNN，称为霍普菲尔德网络或"关联"神经网络。约翰·霍普菲尔德受到了W.A.利特尔的启发，后者在1974年写了《大脑中持久状态的存在》，为几十年的学习过程奠定了理论基础。RNN不断发展，LSTM就像我们今天知道的那样出现了。

RNN有效地记忆序列的持久状态，如图1.4所示：

每个状态Sn捕捉了Sn-1的信息。当网络达到尾部时，函数F将执行一个操作：传导、建模或任何其他类型的基于序列的任务。

在20世纪80年代，Yann LeCun设计了多用途卷积神经网络（CNN）。他将CNN应用于文本序列，它们也适用于序列传导和建模。它们也基于W.A.利特尔的持久状态，逐层处理信息。在20世纪90年代，经过数年的工作总结，Yann LeCun制作了LeNet-5，它导致了我们今天所知道的许多CNN模型。然而，CNN的有效架构在处理长度复杂序列中的长期依赖性时面临问题。

我们可以提到许多其他伟大的名字、论文和模型，这些都足以让任何人工智能专家感到谦卑。似乎多年来，人工智能领域的每个人都走在正确的轨道上。马尔可夫场、RNN和CNN演化成了多个其他模型。注意力的概念出现了：窥视序列中的其他标记，而不仅仅是最后一个标记。它被添加到了RNN和CNN模型中。

之后，如果AI模型需要分析需要更多计算机功率的更长序列，AI开发人员将使用更强大的计算机，并找到优化梯度的方法。

一些研究进行了序列到序列模型的研究，但它们没有达到预期。

似乎没有其他方法可以取得更多的进展。就这样过去了30年。然后，从2017年末开始，工业化的最先进的变换器带来了它的注意力头子层等等。RNNs不再是序列建模的先决条件。

在深入研究原始变换器的架构之前，我们将在第2章《开始使用变换器模型的架构》中进行，让我们从高层次开始，检查我们应该使用的软件资源的范式变化，以学习和实现变换器模型。

我们应该使用什么资源？

工业4.0人工智能已经模糊了云平台、框架、库、编程语言和模型之间的界限。变换器是新的，生态系统的范围和数量令人惊叹。Google Cloud提供了现成的变换器模型。

OpenAI部署了一个几乎不需要编程的"变换器"API。Hugging Face提供了云库服务，名单还在不断增长。

本章将对我们在本书中将要实施的一些变换器生态系统进行高层次的分析。

选择用于实现自然语言处理的变换器的资源非常关键。这是一个项目中的生存问题。想象一下现实生活中的面试或演示。想象一下你正在与你未来的雇主、老板、团队或客户交谈。

你开始你的演示，使用了Hugging Face等优秀的PowerPoint。你可能会得到一个来自经理的不利反应，他可能会说："对不起，但是我们在这种项目中使用的是Google Trax，而不是Hugging Face。你能否实现Google Trax？"如果你不这样做，对你来说就是失败。

同样的问题可能会在专门使用Google Trax的情况下出现。但是，相反，你可能会得到一个希望使用OpenAI的GPT-3引擎的经理的反应，而无需开发。如果你专门使用OpenAI的GPT-3引擎并使用API而不开发，你可能会遇到一个希望使用Hugging Face的AutoML API的项目经理或客户。对你来说最糟糕的事情可能是，一个经理接受了你的解决方案，但最终它对于该项目的自然语言处理任务根本不起作用。

在本节中，我们将介绍一些你将面临的挑战。但首先，让我们从APIs开始。

Transformer 4.0无缝API的崛起

我们现在已经进入了人工智能工业化时代。微软、谷歌、亚马逊网络服务（AWS）和IBM等公司提供了没有开发者或开发团队能够超越的人工智能服务。科技巨头拥有百万美元级的超级计算机，以及用于训练变换器模型和人工智能模型的大规模数据集。

大型科技巨头拥有各种各样的企业客户，他们已经在使用他们的云服务。因此，将变换器API添加到现有的云架构中所需的工作量比其他任何解决方案都要少。

一个小公司甚至个人可以通过API访问最强大的变换器模型，几乎不需要进行开发投资。一名实习生可以在几天内实施API。对于这样一个简单的实施，没有必要成为工程师或拥有博士学位。

例如，OpenAI平台现在拥有市场上一些最有效的变换器模型的SaaS（软件即服务）API。

OpenAI的变换器模型非常有效和接近人类，以至于目前的政策要求潜在用户填写一个请求表单。一旦请求被接受，用户就可以访问自然语言处理的广阔领域！

OpenAI的API的简单性令用户感到惊讶：

• 一键获取API密钥
• 在笔记本中一行代码导入OpenAI
• 在提示中输入任何您想要的自然语言处理任务
• 您将收到一个以一定数量标记（长度）作为完成的响应

就是这样！欢迎来到第四次工业革命和AI 4.0！

专注于仅代码解决方案的工业3.0开发者将发展成具有跨学科思维方式的工业4.0开发者。

AllenNLP提供了一个用于变换器的在线教育界面的免费使用。AllenNLP还提供了一个可以安装在笔记本中的库。例如，假设我们被要求实现共指消解。我们可以通过在线运行示例来开始。

共指消解任务涉及查找一个词所指的实体，就像图1.5中显示的句子中一样：

单词"it"可能指的是网站或变换器模型。在这种情况下，类似BERT的模型决定将"it"与变换器模型关联起来。AllenNLP提供了格式化的输出，如图1.6所示：

这个示例可以在demo.allennlp.org/coreference... 上运行。变换器模型不断更新，所以你可能会得到不同的结果。

尽管API可能满足许多需求，但它们也有限制。一个多用途的API在所有任务中可能都还不错，但对于特定的自然语言处理任务来说可能还不够好。使用变换器进行翻译并不容易。在这种情况下，一个4.0开发者、顾问或项目经理将不得不证明仅仅依靠API无法解决所需的特定自然语言处理任务。我们需要寻找一个强大的库。

选择现成的API驱动库

在本书中，我们将探讨几个库。例如，谷歌拥有全球一些最先进的人工智能实验室。谷歌Trax可以在Google Colab中用几行代码进行安装。您可以选择免费或付费服务。我们可以获取源代码，调整模型，甚至在我们的服务器或Google Cloud上训练它们。例如，将一个变换器模型定制为翻译任务，这是从现成的API向下迈出的一步。

然而，在某些情况下，这可以证明既具有教育意义又有效。我们将在第6章《使用变换器进行机器翻译》中探讨谷歌在翻译方面的最新发展并实施谷歌Trax。

我们已经看到，像OpenAI这样的API需要有限的开发技能，而像谷歌Trax这样的库会深入到代码中。这两种方法都表明，AI 4.0 API将需要在API的编辑器端进行更多的开发工作，但在实施变换器时需要付出更少的努力。

使用变换器等算法之一的最著名的在线应用之一是Google翻译。Google翻译可以在线使用，也可以通过API使用。

让我们尝试使用Google翻译将需要共指消解的英语句子翻译成法语：

Google翻译似乎已经解决了共指消解的问题，但是法语中的"transformateur"一词意味着电器设备。而"transformer"一词是法语中的新词。在某个特定项目中，可能需要人工智能专家具备语言和语言学技能。在这种情况下，不需要进行重大开发。但是，该项目可能需要在请求翻译之前澄清输入。

这个例子表明，您可能需要与语言学家合作或获取语言学技能来处理输入上下文。此外，可能需要大量开发来为上下文增加一个接口。

因此，我们可能仍然需要亲自动手添加脚本以使用Google翻译。或者我们可能需要找到一个特定翻译需求的变换器模型，例如BERT、T5或本书中将要探讨的其他模型。

随着解决方案范围的不断增加，选择一个模型并不容易。

选择一个变换器模型

大型科技公司主导着自然语言处理市场。仅Google、Facebook和Microsoft每天运行数十亿个自然语言处理例程，增强了它们的人工智能模型的无与伦比的力量。这些大型巨头现在提供了广泛的变换器模型，并拥有排名靠前的基础模型。

然而，一些更小的公司也看到了庞大的自然语言处理市场，加入了竞争。Hugging Face现在也采取了免费或付费的服务方式。对于Hugging Face来说，要达到谷歌研究实验室投入数十亿美元和微软对OpenAI的资助所获得的效率水平将是一项挑战。基础模型的入口是在超级计算机上完全训练的变换器模型，如GPT-3或Google BERT。

Hugging Face采取了不同的方法，为任务提供了广泛和数量众多的变换器模型，这是一种有趣的理念。Hugging Face提供了灵活的模型。此外，Hugging Face还提供了高级API和由开发人员控制的API。我们将在本书的多个章节中探讨Hugging Face，将其视为一个教育工具，并考虑其作为特定任务的可能解决方案。

然而，OpenAI专注于全球最强大的少数几个变换器引擎，并可以以人类水平执行许多自然语言处理任务。我们将在第7章《GPT-3引擎的崛起：超人类变换器》中展示OpenAI的GPT-3引擎的威力。

这些对立且经常相互冲突的战略留给了我们大范围的可能实施方案。因此，我们必须明确定义工业4.0人工智能专家的角色。

工业4.0人工智能专家的角色

工业4.0正在将一切与一切相连接，无处不在。机器直接与其他机器通信。由人工智能驱动的物联网信号触发自动决策，无需人为干预。自然语言处理算法发送自动报告、摘要、电子邮件、广告等。

人工智能专家将不得不适应这个越来越自动化的任务新时代，包括变换器模型的实施。人工智能专家将有新的职能。如果我们列出人工智能专家将不得不执行的变换器自然语言处理任务，从上到下，似乎有些高级任务几乎不需要人工智能专家的开发工作。人工智能专家可以成为人工智能大师，提供设计思路、解释和实施。

让我们通过一些例子来说明：

• API：OpenAI API不需要人工智能开发者。一个网页设计师可以创建一个表单，而语言学家或专业领域专家（SME）可以准备输入的提示文本。人工智能专家的主要角色将需要语言技能，以向GPT-3引擎展示如何完成任务，而不仅仅是告诉它们。例如，展示涉及到处理输入的上下文。这项新任务被称为提示工程。提示工程师在人工智能领域有很大的前景！

• 库：Google Trax库需要一定程度的开发工作，以使用现成的模型。精通语言学和自然语言处理任务的人工智能专家可以处理数据集和输出。

• 训练和微调：Hugging Face的一些功能需要一定的开发工作，提供了API和库。然而，在某些情况下，我们仍然需要动手。在这种情况下，训练、微调模型和找到正确的超参数将需要人工智能专家的专业知识。

• 开发级别的技能：在一些项目中，分词器和数据集不匹配，如本书第9章《匹配分词器和数据集》所解释的那样。在这种情况下，与语言学家一起工作的人工智能开发人员可以发挥关键作用。因此，在这个层面上，计算语言学培训可以非常有用。

最近自然语言处理人工智能的发展可以称为"嵌入式变换器"，它正在颠覆人工智能开发生态系统：

• GPT-3变换器目前嵌入了Microsoft Azure的多个应用程序，例如GitHub Copilot。正如本章基础模型部分所介绍的那样，Codex是我们将在第16章《基于变换器的联合驾驶员的崛起》中探讨的另一个例子。
• 这些嵌入式变换器不能直接访问，但提供了自动开发支持，如自动生成代码。
• 对于最终用户来说，嵌入式变换器的使用是无缝的，具有辅助文本完成功能。

我们将在第16章探索这个令人着迷的嵌入式变换器的新世界。但为了充分了解那一章，您首先应该掌握前面章节的概念、示例和程序。

工业4.0人工智能专家的技能需要灵活性、跨学科知识，最重要的是灵活性。本书将为人工智能专家提供各种变换器生态系统，以适应市场新范式。

在深入探讨原始Transformer的迷人架构之前，让我们总结本章的思想。

总结

第四次工业革命，或者称为工业4.0，迫使人工智能进行深刻的演进。第三次工业革命是数字化的。工业4.0是在数字革命基础上建立的，将一切与一切连接起来，无处不在。自动化过程正在取代人类在包括自然语言处理在内的关键领域中的决策。

循环神经网络(RNNs)存在一些局限性，这些局限性减缓了在一个快速发展的世界中所需的自动化自然语言处理任务的进展。变换器填补了这一空白。一个公司需要总结、翻译和各种自然语言处理工具来应对工业4.0的挑战。

工业4.0（I4.0）因此引发了人工智能产业化时代。平台、框架、语言和模型概念的演进对于工业4.0开发者来说是一个挑战。基础模型通过提供同质模型来弥合第三次工业革命和工业4.0之间的差距，这些模型可以在没有进一步的训练或微调的情况下执行各种任务。

例如，网站如AllenNLP提供了无需安装的教育性自然语言处理任务，但它还提供了在自定义程序中实现变换器模型的资源。OpenAI提供了一个API，只需几行代码即可运行强大的GPT-3引擎之一。Google Trax提供了一个端到端的库，Hugging Face则提供了各种变换器模型和实现。在本书中，我们将探索这些生态系统。

工业4.0是与以前的人工智能相比更广泛技能集的根本变革。例如，项目经理可以通过要求网页设计师创建OpenAI API的界面来实现变换器，通过提示工程来实现。或者，在必要时，项目经理可以要求人工智能专家下载Google Trax或Hugging Face，以开发一个完整的项目，其中包括定制的变换器模型。

工业4.0对于开发者来说是一个改变游戏规则的时代，他们的角色将扩展并需要更多的设计而不是编程。此外，嵌入式变换器将提供辅助代码开发和使用。这些新技能是一项挑战，但也打开了新的令人兴奋的视野。

在第2章中，我们将开始探讨原始Transformer的架构。