每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/
几天前，英伟达CEO黄仁勋在BG2播客上做客，分享了一次不同寻常的对话。这次访谈不仅深入探讨了英伟达的内部运作，更重要的是展现了人工智能技术和行业的发展轨迹。以下是这次对话中的一些亮点和启示。
飞轮的飞轮
黄仁勋谈到，AI技术堆栈的加速正在加快，英伟达的核心关注点就是这种加速的速率。在他看来，机器学习的飞轮效应让英伟达每年能提升2-3倍的性能。
过去，很多人认为更好的芯片设计、更高的FLOPs、更大的数据吞吐量是关键。演讲中充满了各种数据和参数的图表，性能当然重要，但这种思维已经过时了。
早年，软件是静态的，仅仅是运行在Windows上的应用程序，想提升性能的唯一方式是制造更快的芯片。但机器学习并不是人类编程，它的关键在于整个数据管道。真正重要的是机器学习的飞轮效应。
飞轮的最关键部分是让数据科学家和研究人员在这个过程中保持高效。从一开始，很多人并未意识到，使用AI来整理训练数据以教AI本身，这个过程非常复杂。而通过更智能的AI整理数据，如今甚至可以生成合成数据，提供更多的方式来准备训练数据。在训练之前，还涉及到大量的数据处理。
每一步都充满挑战。过去，我们只想着如何让Excel或Doom这样的软件跑得更快，但现在的任务是如何加速整个飞轮。
最终，真正的指数增长来自于加速整个系统。
加速整个系统的系统化方法
黄仁勋强调，要加速整个AI系统，需要采用整体性的系统方法。Amdahl定律是其中的重要原则，它指出系统的总体加速受限于无法并行化或改进的部分。因此，要实现显著的加速，必须优化AI管道的每一个环节，从数据准备到推理，而不仅仅是专注于单一的训练阶段。
他解释道："如果某个组件占用了整个过程30%的时间，即使你将这个组件的速度提高3倍，整个过程的加速幅度也不会特别显著。"根据Amdahl定律，这样的加速仅仅带来20%的系统整体性能提升。
因此，真正的提升来自于加速每一个步骤，只有这样，才能显著缩短周期时间，增强飞轮效应。学习速率的提升最终引发了指数式的增长。
这正是英伟达的使命。要实现这一点，需要一个集成的生态系统。
英伟达的生态系统策略
黄仁勋还描述了供应链如何协同工作，以每美元或每瓦特的性能提升达到比摩尔定律快一到两个数量级的速度。
他认为，摩尔定律本质上是一个社会契约，整个半导体产业链的供应商们为了实现英特尔的公开路线图而共同努力。英伟达现在也在做类似的事情，但规模更大，涵盖了整个AI生态系统。
通过这样一个集成的生态系统，英伟达不仅推动了AI芯片的发展，还带动了整个产业链的协同加速，实现远超摩尔定律的技术进步。