一篇5月份的老文
AlphaEvolve 团队
新型 AI 代理通过结合大型语言模型的创造力与自动化评估器，为数学和计算中的实际应用演化算法
大型语言模型（LLMs）具有卓越的多功能性。它们可以总结文档、生成代码，甚至头脑风暴出新想法。现在，我们已将这些能力扩展到解决数学和现代计算中基础性且高度复杂的问题。
今天，我们宣布推出 AlphaEvolve ，这是一个基于大型语言模型的进化编程代理，用于通用算法发现和优化。AlphaEvolve 将我们 Gemini 模型 的创造性问题解决能力与验证答案的自动化评估器配对，并使用进化框架来改进最有前景的想法。
AlphaEvolve 提升了 Google 数据中心、芯片设计和 AI 训练过程的效率------包括训练 AlphaEvolve 本身所用的大型语言模型。它还帮助设计了更快的矩阵乘法算法，并为开放的数学问题找到了新的解决方案，在许多领域的应用中展现出令人难以置信的前景。
使用大型语言模型设计更好的算法
2023年，我们首次展示了大型语言模型可以生成用计算机代码编写的函数，以帮助在开放的科学问题上发现新的且可证明正确的知识。AlphaEvolve 是一个能够超越单一函数发现，进而进化整个代码库并开发更复杂算法的代理。
AlphaEvolve 利用了一套最先进的大型语言模型集成：我们最快、最高效的模型 Gemini Flash 最大化了探索想法的广度，而我们最强大的模型 Gemini Pro 则通过富有洞察力的建议提供了关键的深度。这些模型共同提出实现算法解决方案的计算机程序。
图示显示了提示采样器如何首先为语言模型组装提示，然后生成新的程序。这些程序由评估器评估并存储在程序数据库中。该数据库实现了一个进化算法，确定哪些程序将用于未来的提示。
AlphaEvolve 使用自动化评估指标来验证、运行和评分提议的程序。这些指标为每个解决方案的准确性和质量提供了客观、可量化的评估。这使得 AlphaEvolve 在数学和计算机科学等可以清晰、系统地衡量进展的广泛领域中特别有用。
优化我们的计算生态系统
在过去一年中，我们在 Google 的计算生态系统中部署了 AlphaEvolve 发现的算法，包括我们的数据中心、硬件和软件。这些改进中的每一个的影响都在我们的 AI 和计算基础设施中被放大，为所有用户构建一个更强大、更可持续的数字生态系统。
图示显示了 AlphaEvolve 如何帮助 Google 提供更高效的数字生态系统，从数据中心调度和硬件设计到 AI 模型训练。
改进数据中心调度
AlphaEvolve 发现了一个简单但非常有效的启发式算法，以帮助 Borg 更高效地编排 Google 广阔的数据中心。这个解决方案现已投入生产超过一年，平均持续回收 Google 全球计算资源的 0.7%。这种持续的效率提升意味着在任何给定时刻，相同的计算足迹可以完成更多任务。AlphaEvolve 的解决方案不仅带来强大的性能，还提供了人类可读代码的重要操作优势：可解释性、可调试性、可预测性和易于部署。
协助硬件设计
AlphaEvolve 提出了一个 Verilog 重写，移除了用于矩阵乘法的关键、高度优化的算术电路中不必要的位。至关重要的是，该提议必须通过鲁棒的验证方法来确认修改后的电路保持功能正确性。这个提议被集成到即将推出的 Tensor Processing Unit (TPU) 中，这是 Google 的定制 AI 加速器。通过以芯片设计师的标准语言提出修改建议，AlphaEvolve 促进了 AI 和硬件工程师之间的协作方法，以加速未来专用芯片的设计。
增强 AI 训练和推理
AlphaEvolve 正在加速 AI 性能和研究速度。通过找到更智能的方法将大型矩阵乘法操作分解为更可管理的子问题，它将 Gemini 架构中这个关键的 kernel 加速了 23%，导致 Gemini 训练时间减少了 1%。由于开发生成式 AI 模型需要大量计算资源，获得的每一点效率都能转化为可观的节省。除了性能提升外，AlphaEvolve 还显著减少了 kernel 优化所需的工程时间，从数周的专家努力减少到数天的自动化实验，让研究人员能够更快地创新。
AlphaEvolve 还可以优化低级 GPU 指令。这个极其复杂的领域通常已经被编译器大量优化，因此人类工程师通常不会直接修改它。AlphaEvolve 为 FlashAttention 在 Transformer 架构 AI 模型中的 kernel 实现实现了高达 32.5% 的加速。这种优化帮助专家精确定位性能瓶颈，并轻松将改进集成到他们的代码库中，提高他们的生产力并实现未来计算和能源的节省。
推进数学和算法发现的前沿
AlphaEvolve 还可以为复杂的数学问题提出新方法。在提供了计算机程序的最小代码骨架后，AlphaEvolve 设计了一种新颖的 梯度优化 程序的许多组件，该程序发现了矩阵乘法的多个新算法------这是计算机科学中的一个基本问题。
视频：AlphaEvolve 为发现更快的矩阵乘法算法而提出的变更列表。在这个例子中，AlphaEvolve 在多个组件中提出了广泛的变更，包括优化器和权重初始化、损失函数和超参数扫描。这些变更都是高度非平凡的，在进化过程中需要 15 次突变。
AlphaEvolve 的程序找到了一个使用 48 次标量乘法来乘以 4x4 复值矩阵的算法，改进了 Strassen 的 1969 年算法 ------该算法此前被认为是这种情况下的最佳算法。这一发现展示了对我们先前工作 AlphaTensor 的重大进展，后者专门从事矩阵乘法算法，对于 4x4 矩阵，仅发现了二进制算术的改进。
为探究 AlphaEvolve 的广度，我们将系统应用于数学分析、几何、组合数学和数论中的 50 多个开放问题。系统的灵活性使我们能够在几小时内完成大多数实验的设置。在大约 75% 的情况下，它重新发现了当前最先进的解决方案（据我们所知）。
在 20% 的情况下，AlphaEvolve 改进了先前已知的最佳解决方案，在相应的开放问题上取得了进展。例如，它推进了 接触数问题 （kissing number problem）。这个几何挑战已经吸引了数学家超过 300 年，涉及接触一个公共单位球体的不重叠球体的最大数量。AlphaEvolve 发现了 593 个外球的配置，并在 11 维中建立了一个新的下界。
前进的道路
AlphaEvolve 展现了从为特定领域发现算法，到为广泛的真实世界挑战开发更复杂算法的发展进程。我们期望 AlphaEvolve 随着大型语言模型能力的提升而持续改进，特别是当它们在编程能力方面变得更加强大时。
与 People + AI Research 团队 合作，我们一直在构建与 AlphaEvolve 交互的友好用户界面。我们正在为选定的学术用户规划早期访问计划，并探索让 AlphaEvolve 更广泛可用的可能性。如需注册兴趣，请填写此表单。
虽然 AlphaEvolve 目前主要应用于数学和计算领域，但其通用性意味着它可以应用于任何解决方案能够被描述为算法并自动验证的问题。我们相信 AlphaEvolve 可能在更多领域产生变革性影响，如材料科学、药物发现、可持续发展以及更广泛的技术和商业应用。