Choose Your Weapon:Survival Strategies for Depressed AI Academics
你是学术机构的人工智能研究员吗？你是否担心自己跟不上人工智能发展的步伐？你觉得你在取得人工智能研究突破方面没有（或几乎没有）获得所需的计算和人力资源吗？你并不孤单；我们也有同感。越来越多的人工智能学者再也无法找到在全球范围内竞争的手段和资源。这是一个相对较新的现象，但正在加速发展，私人行为者正在向尖端人工智能研究投入巨大的计算资源。在这里，我们讨论了您如何在保持学术身份的同时保持竞争力。我们还简要地讨论了大学和私营部门可以做些什么来改善这种情况，如果他们愿意的话。这不是一个详尽的策略清单，你可能不同意其中的所有内容，但它起到了开始讨论的作用。
作为一个在大学里从事人工智能研究的人，你会对 DeepMind、Open AI、Google Brain 和 Meta AI 等公司级人工智能研究巨头产生复杂的情感。每当你看到这些论文时，它们训练出某种巨型神经网络模型去做一些你甚至不确定神经网络能否做到的事情，毫无疑问地推动了技术的发展并重塑了你对可能性的理解，你会产生矛盾的情绪。一方面：这太棒了。 你在推动人工智能的发展方面做得很好。 另一方面：我们怎么可能跟得上？作为一个人工智能学者，领导一个有几个博士生（如果你足够幸运的话）和一些博士后研究人员的实验室，也许你的实验室有几十个 GPU，这种研究根本不可能进行。
但是，这并不是一直都这样的。 十年前，如果你有一台不错的电脑和网络连接， 你就有了与世界上最好的研究人员竞争所需的全部东西。 往往只需要一两个人就能写出突破性的论文------ 这些人用他们的个人电脑做了所有的实验。 对于那些在最近十年内刚刚进入研究领域的人来说，这一点尤其有用， 对他们来说，拥有巨大的计算资源是理所当然的事。
如果我们在深度学习中学到了一件事，那就是扩展有效。从 ImageNet竞赛及其各种获胜者到 ChatGPT、Gato，再到最近的 GPT-4，我们已经看到更多的数据和计算力会带来更优的结果------无论是定量的还是定性的。(当你阅读这篇文章的时候，这个包含最新人工智能里程碑的列表可能已经过时了。) 当然，还有改进学习算法和网络架构的方法，但这些改进只有在大规模实验的情况下才有用。(斯图尔特谈到了"苦药丸"，指的是当计算能力增加时，总是简单方法占上风) 这种规模是目前学术研究人员无法实现的。据我们所知，普通研究人员可以获得的计算能力和保持竞争力所需的计算能力之间的差距每年都在扩大。
这在很大程度上解释了学术界许多人工智能研究人员对这些公司的怨恨。 同行之间的健康竞争是一回事，但来自拥有如此多资源的人的竞争是另一回事，他们可以轻松地做你永远无法做到的事情，不管你的好主意有多好。 当你在研究一个课题一段时间后，深度思维或谷歌可能会说"哦，我们可以做得更好"，然后发布一篇论文并继续前进。
如果 OpenAI 也做同样的事情，那么你可能会有类似的感觉------就像当沃尔玛在隔壁开了一家分店时，一个小镇杂货店老板的感受一样。这很令人伤心，因为我们希望研究是一项开放且合作的努力，在其中每个人都可以获得认可，不是吗？
所以，如果你只是一位教授，团队规模有限，计算资源有限，面对资金雄厚的研究公司的猛烈攻势，你能做些什么来保持相关性呢？这是一个多年来一直困扰着我们和许多同事的问题。最近发生的事情，比如GPT-4模型令人震惊地强大，而且令人震惊的是封闭源代码，没有公开细节，使这个问题变得更加紧迫。我们在社交媒体上听到过来自各个级别的研究人员的声音，他们担心在缺乏资源的情况下进行有意义的研究以及大型科技公司带来的不公平竞争。
让我们从一开始就澄清这一点：我们俩都很安全。 我们都是终身教职的教授，我们在学术阶梯上迅速崛起，在一定程度上是因为我们系统地推动了视频游戏领域的人工智能的发展。 尽管我们显然关心继续做相关的AI研究，但我们写这篇文章主要是为了给那些可能想知道应该走哪条职业道路的年轻同事提供帮助。 去学术界还是加入一家大型科技公司更好？ 或者也许创业？ 人工智能的职业生涯是有前途的呢，还是当水管工更有前途？ 你应该成为机器的一部分，还是会反抗机器？（当你无路可退时，反叛通常会更容易，要么是在职业生涯的初期，要么是在得到终身教职之后）无论你能熟练掌握多少技能，这场为保持竞争力而展开的伟大战斗是否已经失败？ 我们是否会在这里躺平，屈服于现状？ 这篇文章在某种程度上是一份认真的建议，也在某种程度上是对情感上的鼓励，但最重要的是，我们希望与你们所有人讨论这个问题，这样我们可以改善学者的地位，不要等到战争全面爆发。 我们不想阻止人工智能技术的进步------即使我们可以（阻止）； 相反，我们想讨论一下策略，让尽可能多的人能够参与其中，成为这场运动的一部分。
以下是如果你是一名对选择感到绝望的人工智能学者，可以考虑做什么的想法清单。这些选项没有特定的顺序。然而，在本文末尾，我们讨论了大型科技公司和大学如何帮助这种情况。在那里，我们提出了一些具体的建议。
放弃吧！
放弃总是可以的。不是放弃做研究，而是放弃做一些真正有影响力的事情，推动事情的发展。在中档期刊和会议上发表论文仍然有很多技术细节和子问题需要解决。注意：(1)如果你已经有了一个安全的永久职位，并且不太关心晋升，那么这可能是最好的选择；(2) 这真的不是你在决定从事研究工作时想要做的吧？因为激烈的竞争而强迫自己重新构思研究议程，就像调整你的研究以适应欧洲委员会或美国国家科学基金会等资助机构有时武断的优先事项一样。至少尝试后者可能会为你的实验室提供一些资金，从而帮助你与一些有才华的人工智能研究人员和博士生合作。值得注意的是，我们两人都觉得自己很幸运，因为我们协调过或者参与过几个小规模和大规模的研究项目，这些项目让我们能够支持我们的研究议程，并在一定程度上帮助我们获得职位。
尝试无论如何缩放
与势不可挡的竞争者正面交锋是一种令人钦佩的态度。如果可以扩展，让我们在大学实验室里来做吧！让我们去挑战风车（GPU风扇）吧！
最明显的问题是 CPU 和 GPU 的访问。所以，假设你在某个地方获得了 5 万美元用于云计算的资金，并继续运行你的大型实验。但与训练像 GPT-3 这样的东西相比，这是一笔非常小的金额。最近的开放在《我的世界》中，学习制作钻石镐的 AI 代理需要在 720 V100 GPU 上训练 9 天；这意味着单个实验的成本高达数十万美元。即使是著名的欧盟ERC或美国NSF都无法支持这种级别的投资。尽管如此，在云上花费 50,000 美元可以获得比一堆粘在一起的游戏 PC 更多的计算能力，因此您可以扩展至少一点点。至少对于那个特定的实验来说是这样。但正如我们所知，大多数实验都不可能第一次就成功。在我们看到的每一个大型实验之前，都有几个月甚至几年的原型、概念验证、调试、参数调整和失败尝试。你需要持续不断地获得这样的计算能力。
不太明显的问题是，你需要正确的团队来构建可扩展的实验软件，这并不容易与学术工作结构兼容。 一般情况下，计算机科学领域的典型学术研究实验室的成员主要是需要在几年内毕业的博士生，并且他们需要进行个人项目的研究，以便产生多篇第一作者论文，从而在未来获得教职。 大型人工智能项目的含义通常是团队中的大多数成员会在同一个项目上工作数月或数年，而其中只有一个人能成为论文的第一作者。 团队中可能还包括那些从事"平凡"的软件工程任务的人，这些任务对项目的成功至关重要，但本身不被视为人工智能研究。 成功的大型项目所需要的结构与学术界的结构根本不相容。
缩小规模
一种流行的解决方法是关注简单但具有代表性的（玩具）问题，这将在理论上证明新方法的优势或展示新颖方法的比较优势。例如，最近一篇关于行为转换器的论文展示了该方法在一项仅使用简单的多层感知器即可解决的玩具导航任务中的好处。类似的策略后来在[11]中也被使用过。然而，这两项研究都可能会产生重大影响，因为它们演示了算法在流行的游戏和机器人基准测试问题上的能力，这些问题需要大型模型和大量的计算来训练。在[10]中，我们再次观察到同样的模式：在一个玩具（赌博）环境中提出一个案例，但人们认为这种算法在更复杂但计算量大的问题上所表现出的相对优势才是关键。
这种方法的一个缺点是，人们会被高分辨率的漂亮颜色所震撼，并且会比玩具车更认真地对待一辆真正的汽车在道路上行驶，尽管挑战可能是一样的。所以你会得到更少的关注。还有一些领域，比如语言，很难进一步缩小规模。
重复利用和重制
过去十年中，人工智能迅速发展的核心原因之一是研究人员将其代码和模型提供给科学界。在过去的日子里，模型共享和代码访问并不是人工智能研究者的标准或首要任务。拥有预训练的大模型（如ImageNet[15]、ViT[4] 或 GPT 的变体）可以节省时间和精力，因为您可以采用它们的大部分，并为您的特定问题微调较小的部分。可以说，需要假设这些大型模型的表示足够通用，以便在有限的训练下能够很好地执行下游任务。不幸的是，对大型模型进行微调和后处理分析通常不足以实现良好的性能。
分析优于合成
另一个可以使用公开可用预训练模型做的事情是对它们进行分析。虽然这可能不会直接导致新功能，但它仍然可以推动科学进步。目前的情况是，我们有很棒的文本生成和图像生成模型供公众使用，但我们对它们的理解还不够深入。事实上，我们几乎不了解它们。让我们面对现实吧：变形器不是直观的东西，这些模型训练所用的数据量本身几乎是无法理解的。有很多工作要做来分析发生了什么，例如通过 以创造性的方式 探索它们，发展可视化和概念机制来帮助我们理解它们。
人们可以用不同的思维方式来做分析。试图发现并描述已经学到的具体电路和机制是有用的，它可以帮助我们（嗯，某个人，有资源）在未来建立更好的模型。但也可以扮演"牛虻"的角色，不断地寻找打破它们的方法！这很有价值，不管那些试图从大模型中获利的人怎么说。
RL！没有数据！
人们可能会降低对数据的要求，通过强化学习（RL）的视角来解决人工智能问题。遵循强化学习的方法可能允许您绕过所有与数据可用性、分析、存储和处理相关的问题；但这并不一定减少必要的计算努力。事实上，即使是最有效的强化学习方法也已知在探索过程中成本很高。此外，塑造奖励函数通常涉及黑魔法（非正式地）或实践智慧（更正式）。也就是说，研究人员经常需要不断运行不同类型的奖励（以及其他超参数）的长时间实验，才能取得突破性的结果。因此，最终必须再次简化问题的复杂性。底线是，如果你想摆脱大数据集，除非你在简单（玩具）问题或专用领域工作，否则你仍然可能面临巨大的计算量；下一节专门讨论后一种策略。
小模型！不要计算！
另一个有效的策略是通过妥协模型规模来节省计算资源。在许多情况下，您可能想要或需要一个较小的模型。考虑最小化能够解决问题或完成任务的模型。这对于现实世界的应用尤其重要和相关。例如，在野外领域如游戏、物联网(IoT)和自动驾驶汽车中，人工智能可以部署在其最终用户旁边以及用户生成的数据旁边（即网络边缘）。这通常被称为 边缘人工智能 [8] ，当内存需求较低且推断发生得更快时，物理世界中的设备上运行的人工智能应用程序成为可能。神经进化和神经架构搜索[8]，以及知识蒸馏[5,9]方法只是边缘人工智能的一些可用方法。请记住，除了从更小的模型中学习更多之外，还可以尝试从更少的数据中学习更多[6]。
沿着这条研究路线走下去，当涉及到我们对模型内部运作的理解时，可能会带来重大的突破。研究小型人工智能模型使分析变得更加容易，并增加了模型所做任何事情的可解释性。在设备上部署模型有助于解决隐私问题。重要的是，它支持绿色人工智能研究倡议[16]，倡导一种考虑（并试图最小化）其环境足迹的包容性人工智能。显然，一个小型模型所能做的有限，但我们认为这种研究方向的重要性将在未来几年急剧增加。
专注于特定的应用领域或领域
一个相当有效的策略是从某个小众但已经建立起来的研究领域中进行选择------这可能超出了行业的直接兴趣，并试图在这个领域内创新。把你的想法带到并测试到一个全新的领域往往是一种成功的策略，但它很少会产生比该领域更大的影响。由于少数专注的研究人员的努力，有许多例子表明，这些小众领域最终会成为主导。我们目前都在采取这个策略，以游戏人工智能社区作为主要科学社区，在那里我们可以进行最先进的研究工作，因为只有少数大公司真正致力于现代游戏人工智能。
想象一下，电子游戏是一个在 2000 年代初渗透并主导了机器人学和计算机视觉研究领域的领域（例如，当时IJCAI 和 AAAI 会议系列）。想想那些主宰了社区的神经网络和深度学习方法。支持向量机和回归模型（例如，十年前的NeurIPS）。还可以考虑强化学习和深度学习如何改变了多智能体学习和认知/情感建模社区中代表AAMAS、ACII和IVA会议的核心原则。这种策略的一个核心缺点是在那些对AI最具影响力的大型会议上发表论文很困难，比如NeurIPS、AAAI、ICML和IJCAI。你的论文及其结果可能会被忽略。然而，很有可能开始一个拥有自己的出版物的社区。
现在没人关心的问题
虽然专注于一个已经建立的小众领域或应用领域是一种相对安全的战略，但另一种更具风险的方法是找到一个尚未存在的利基市场或应用程序。基本上，关注几乎没有人重视的问题，或者没有人认为有前途的方法。一种方法是寻找人们没有认真应用人工智能的应用程序。
一个好主意是研究既不及时也不"性感"的领域。 这里的赌注是，这个特定的应用领域在未来会变得很重要，无论是它本身还是因为它使其他事情成为可能。 我们都选择了这条路。 十五年前，游戏中的过程生成是一个非常小众的话题，我们俩都帮助引入了[20, 23]；最近，它不仅对游戏行业重要，而且作为帮助一般化（深度）强化学习的一种方式也变得更加重要[14, 19]。 强化学习的研究是人工智能的一个核心主题，每年发表数千篇论文，使得这一曾经有些模糊的主题更加重要。 这种高风险、高回报的心态可能会导致一条孤独的道路，但最终却能带来巨大的回报。
所以，看看周围，和不是AI研究者的人交谈。在哪些领域中很少使用人工智能？那些似乎不被AI研究人员所了解或关心的问题是什么？将来有人会关注这些领域吗？如果是这样，您可能希望深入挖掘其中一个领域。
尝试本不该起作用的事物
小型学术团队的另一个优势是，它们有能力尝试那些"本不应该奏效"的事情，也就是说这些事情在理论上或实验上都没有证据支持。大型工业研究实验室通常动态使研究人员有动力去尝试那些可能会成功的事情；如果没有，钱就没了。在学术界，失败可以像成功一样具有指导意义和价值，而且整体风险较低。人工智能中许多重要的发明和想法都是从尝试错误的事情开始的。特别是，所有深度学习都源于研究人员坚持不懈地研究神经网络，尽管有充分的理论理由表明它们不应该是有效的。
做一些有损形象的事
公司越大、越重要，就越受道德和公众舆论的影响。毕竟，任何一家公司最终都要对其股东负责，如果股东认为公司的声誉受损，他们很容易就会解雇首席执行官。因此，大公司会尽量避免做任何看起来不好的事情。为了绕过这一点，大公司有时会给初创公司投资，让他们去做那些可能会出错的实验性工作（想想微软和 OpenAI）。但即使是这样的做法也有其局限性，因为糟糕的公关可能像旧金山湾的潮水一样卷土重来。
作为一个独立的研究人员，没有职位或已经有稳定职位的人，你们没有什么好损失的。 你可以做任何你喜欢做的疯狂的事情。 你受到法律和个性的约束。 我们并不是在争论你应该做不道德的研究。 当然，试着做正确的事。 但你所反对的可能与美国东海岸的一群主要由白人组成的、受过高等教育的工程师所反对的非常不同。 财富科技公司的公关部门、伦理委员会和董事会支持一套特定的价值观。 但是世界是多元的，充满了非常不同的人和文化。 因此，存在着很大的机会来开展这些科技公司不会做，即使它们可以做的研究。作为利用这一机会的一个项目的例子，我们中的一个人参与了一个项目，该项目通过创建一个语言模型自动完成系统来批判性地审视当前写作支持系统中"中立英语"的规范性。该系统假定您以著名作家Chuck Tingle的语气写荒谬的政治讽刺同性恋色情科幻小说[7]。我们的猜测是这个项目不会被亚马逊或谷歌审查并发表。另一个例子就是这篇论文本身。
同样，您可能会发现，在涉及裸体、性、粗鲁、宗教、资本主义、共产主义、法律与秩序、正义、平等、福利、代表性、历史、繁殖、暴力或其他问题时，您可能偏离了大型科技公司的文化共识。 由于所有人工智能研究都发生在文化和政治背景下，并受到其影响，因此请将您的行为视为一个机会。 如果他们不能做他们不能做的事情，请做他们不会做的事情。
启动它！旋转它！
到目前为止，学术界似乎已经相当清楚地表明，它在某种程度上、具有讽刺意味的是，正在限制学术人工智能研究。即使一个人设法获得了大型多百万美元的项目，这也只占了当今人工智能研究所需的人力和计算资源的一小部分。人工智能科学家的一个流行选择是从他们的大学实验室中分离出他们的想法，并成立一家公司，逐渐将人工智能研究转移到一组符合商业标准的服务或产品。两位作者都参与了这一过程，通过联合创立modl.ai[12] 并从中学到了很多东西。
成为应用人工智能世界的一部分有很多好处。 从原则上讲，您可以访问来自真实世界的丰富数据，否则您无法获得这些数据。 此外，您的 AI 算法在具有挑战性的商业标准应用程序上进行测试，并且必须能够在野外使用。 最后，通常可以获得更多的计算能力，如果初创公司发展壮大，则可以获得更多的人力资源。
这段旅程远非理想，因为有几个限制因素需要考虑。首先，并不是所有的研究想法都适用于创业模式。你的最佳研究成果可能在理解世界方面非常出色，或者至少发表在高影响力期刊上，但这并不意味着你可以轻松地从它们中制作出产品。其次，今天你在实验室获得的许多优秀成果可能需要经过漫长的跑道才能成为某种商业案例。大多数初创公司都在做开发而不是研究，因为跑道很短，你需要在两年左右的下一轮融资之前拥有一个可以正常运行的产品，最好是有一些市场牵引力的产品。第三，即使你确实获得了投资，这并不意味着你有无限的计算预算。由于种子资金通常在数百万美元左右，这并不能为你提供进行OpenAI水平的研究的能力，尤其是当你需要为员工支付真正的薪水（而不仅仅是博士津贴）时。第四，并不是每个AI学术界人士都喜欢这种冒险。毕竟，大多数学者在选择走学术道路时就已经就他们的优先事项达成了一致。学术环境的安全性（因为它既安全又富有创造性），对某些人来说意义重大，超过任何潜在的更高薪水或其他企业福利。
在这里，我们可能会指出，我们与学术研究团队发表的论文比我们共同创立并兼职工作的公司要多得多。另一方面，我们认为我们的公司在游戏行业的影响更为直接。
合作或跳槽！
如果上述选项对你都不起作用，但你仍然想通过使用大量数据进行训练的大规模方法进行创新，那么你可以始终与同时拥有计算能力和数据的人合作。这种方法有几种可行的方法。
位于领先的人工智能公司的大学附近有比较优势，因为当地的社交网络和面对面会议使合作更容易。来自偏远大学的研究人员仍然可以通过联合研究项目的一部分作为研究访问、安置和实习来建立合作关系。更激进的是，一些人工智能教授决定把他们的一些（如果不是全部）研究时间花在工业合作伙伴身上，甚至把整个实验室搬进去。这样的结果是合作伙伴关系、职位安排或实验室转移可能是惊人的。乍一看，这似乎是人工智能学者的最佳选择，然而，第一，产生的知识产权不能总是公开；第二，并不是每个人都能或愿意在以人工智能为基础的实验室工作。
人们甚至可以说，创新应由行业支持的公共机构推动，而不是相反。因此，大学有责任留住（部分或全部）它所培养的人工智能研究人员（包括学者和学生），以及他们所产生的知识产权。否则，在大学环境中，人工智能教育和研究最终会变得多余。接下来，让我们更仔细地审视这种关系，并概述工业公司和大学可以如何帮助彼此。
行业中的大玩家如何帮助？
尚不清楚拥有充足资金支持的人工智能实验室的大公司是否真的想要帮助缓解这种情况。个人研究者和管理者可能关心学术人工智能研究的衰落，但公司所关心的是底线和股东价值，拥有一个具有竞争力的学术研究社区可能符合或不符合他们的最佳利益。然而，在大型私营部门参与者确实关心的情况下，他们可以做很多事情。
在最基本的层面上，开源模型（包括权重和训练脚本）大有帮助。它让学术AI研究人员能够研究这些经过训练的模型、对其进行微调，并在此基础上构建系统。这仍然会让学术研究人员在训练新模型时处于竞争劣势，但至少这是一个开始。值得称赞的是，一些大型工业研究机构定期公开发布他们最强大的模型。而其他公司没有这么做，理应受到谴责。
解决这种情况的下一步是与学术界合作。正如前面所讨论的（见第14节），一些大型机构定期这样做，主要是通过接受当前的博士生作为实习生，让这些学生做大规模的工作。一些人提供某些学术研究的联合任命，甚至偶尔提供研究补助金。所有这些都是好的，但还可以做得更多。特别是可以有机制使学者们通过提出他们愿意共同完成的工作来发起合作。
更进一步，真正想要帮助弥合学术界与工业界鸿沟的私人公司可以选择公开工作：在公共存储库中发布他们的计划、提交代码、模型和开发更新，并允许学者自由地进行贡献。这并不是大多数公司的做法，他们往往有很好的保密理由。另一方面，让学者为您的代码做出贡献并免费培训可以带来很多好处。
大学如何帮助？
尽管行业可能愿意提供帮助，但主要的举措应来自希望推动创新的大学。值得注意的是，在更广泛的AI领域中，一些最具影响力的论文涉及大学系所。这些论文是由与公司合作或参与公司的研究人员共同撰写的。成功的例子很多，但还需要更多来自大学的努力来实现这样的合作关系。实际上，学术机构有很多方法可以启动并促进与行业的合作。
大学还可以通过鼓励教职员工承担更多风险来帮助他们应对竞争格局的变化。学术研究人员在人工智能领域的比较优势在于进行更多高风险的探索，而大学的激励结构必须做出相应调整。例如，在顶级会议如NeurIPS和AAAI上发表论文不再是一件理所当然的事；大型、资金雄厚的行业研究实验室在这方面具有很大优势。同样地，拨款资助结构奖励对流行主题的安全且渐进的研究；这似乎是评估拨款申请的方式固有的特点，不管资助机构使用"颠覆性"等词语多么频繁，这种情况都不太可能改变。一些最传统的（封闭式）拨款机制偏爱的研究类型，正是学术研究人员无法与行业竞争的那种。因此，大学应该避免将拨款资助作为招聘和晋升的条件。如果大学认真考虑要激励他们的教职员工发挥他们的竞争优势，就应该奖励
尝试失败，促进高风险、高回报的资助方案和研究倡议。 然后，很可能会有资助机构跟进这一趋势，在基础研究和蓝天研究上投入更多资金。
临别赠言
我们写这封信有几个目的。首先，与 其他 AI 研究人员分享我们的担忧，希望找到共同的目标（以及作为社区的集体解决方案？）。其次，基于我们自己的经验，也基于我们在学术界和工业界的讨论，提供一组指导方针。第三，激发公开对话，并征求可能对我们所有人都更有效的策略的想法。可以说，我们在这里讨论的策略清单远非包括所有可用的可能性；然而，我们认为它们是一场对话的种子，在我们看来，这场对话是非常及时的。