LeCun 最新演讲，公开表示：
今年诺贝尔奖颁给 AI，是诺奖委员会感到压力的结果，需要承认深度学习的影响。
但物理奖颁给 Hinton 和 Hopefield，获奖成果玻尔兹曼机 和 Hopefield 网络 现在完全无用。
言语间不乏调侃 "化学奖塞不下更多人，所以只能选了物理"，"Hopefield 是生物物理学家，Hinton 的模型以物理学家命名，勉强合理"。
台下观众也蚌埠住了，爆发阵阵笑声。
一开始的问题是：这些人工智能模型，实体化的角色是什么，以实现真正的智能。
LeCun 是这样回答的：
我认为这非常关键。
过去五六年中，对世界模型及类似概念做出有趣贡献的人是机器人科学家，他们尝试将机器学习应用于机器人技术，因为你无法在机器人技术上作弊。你真的需要一个了解物理世界运作方式的系统。
所以几年前，当我们在讨论开设 AI 研究实验室时，我询问是否有我们不应该研究的 AI 领域，当时得到的回答是 Facebook 没有理由从事机器人技术。
因此，两年来我们并未涉及机器人技术。
但两三年后，我意识到在机器人技术中有很多有趣的事情可以做，可以推动 AI 的发展。因此，我们成立了一个小规模的机器人技术团队，后来逐渐发展，现在我们有一个大团队。
机器人技术现在已成为行业的热门话题。因此，研究实验室的角色是提前五年预见此类趋势，这样当你的上司来找你，问我们在 X 方面做了什么时，你可以说，我们过去五年一直在研究 X。
之后 LeCun 又回答了这样的一个问题：
Surya Ganguli 预测，这个世纪将是我们真正理解人工智能并构建像上个世纪我们构建通信理论那样的人工智能理论的时代。你对此有何看法？
LeCun：
我没有一个确切的答案，我认为有许多不同的方式可以从不同的角度理解深度学习，特别是自监督学习等。比如我的一个博士后是一位信息理论家，也是一位统计物理学家。
实际上，统计物理学家在 1980 年代对神经网络很感兴趣，但在 90 年代这种兴趣有所减弱，现在由于深度学习及其数学基础，如我多次讨论的基于能量的模型框架，他们又重新回到了这一领域。
我的这个博士后试图通过分析和建模自我监督的运行，使用诸如信息内容和互信息之类的量度进行理论研究。我们一起写了很多论文，主要是他在这个话题上的工作。
也许下一个突破会来自统计物理学，我对传统理论计算机科学并不抱有太大希望。
借此话茬，LeCun 突然被问到 "你怎么看最近的物理诺贝尔奖呢"。
于是就有了开头的那一幕，LeCun 的完整回答是这样婶儿的：
我对此的印象是，诺贝尔委员会受到了一些压力，需要奖励深度学习领域的贡献。
这一点可以从瑞典电视台的纪录片和电视新闻节目中看出，有人认为诺贝尔奖应该颁给对 AI 领域有重大影响的人士，而非只是物理学领域的不为人知的贡献者。
因此，委员会明显倾向于表彰从事蛋白质结构预测的科学家，如 AlphaFold 团队和 David Baker 的实验室。
所以他们可能决定这么做，但随后他们也决定应该同样奖励那些为基础科学理念做出贡献的人。
因化学奖项的人数限制，他们选择了物理学奖项，并且选择了物理生物学家 John Hopfield。
即便 Geoffery Hinton 不是物理学家，但他的模型被称为 "Boltzmann 机器"，而 Boltzmann 在科学物理中是传奇，这整件事在这种情境下说得通。
但你必须意识到，尽管我对诺贝尔奖颁给从事神经网络研究的人感到非常兴奋和振奋，认为这很棒，但 Hopfield 网络和 Boltzmann 机已经不再被使用，它们在概念上很有趣，但实际上完全无用，没人使用它们了。
我们现在使用的是反向传播。这是一个有趣的概念，但我对此无可厚非。
LSTM 之父也有异议
和 LeCun 的观点不太一样，LSTM 之父 Jürgen Schmidhuber 在 X 上连发推文，观点和用词更加犀利，直接表示这 "涉及计算机科学领域的抄袭和错误归属问题"。
Jürgen Schmidhuber 咋说的，给大家放在这儿了：
2024 年诺贝尔物理学奖因科学中的剽窃行为及错误归因而颁给 Hopfield 和 Hinton。这主要涉及 Amari 的 "Hopfield 网络" 和"Boltzmann 机"。
1、1925 年发布的 Lenz-Ising 循环架构采用类神经元元素 [L20][I24][I25]。1972 年，申一 Amari 使其具备自适应性，能够通过改变连接权重学习输入模式与输出模式的关联 [AMH1]。然而，在 "2024 年诺贝尔物理学奖科学背景" 中，Amari 仅被简略提及。不幸的是，Amari 的网络后来被称为"Hopfield 网络"。Hopfield 在十年后重新发表此网络 [AMH2]，却未引用 Amari，后续论文亦然。
2、Ackley、Hinton 和 Sejnowski 在 1985 年关于 Boltzmann 机的论文 [BM] 讨论了神经网络隐藏单元中内部表示的学习 [S20]。它未引用 Ivakhnenko 和 Lapa 在 1965 年对内部表示深度学习的首个工作算法 [DEEP1-2][HIN]，也未引用 Amari 在 1967-68 年通过随机梯度下降（SGD）端到端学习深度神经网络内部表示的独立工作 [GD1-2]。作者的后续调查 [S20][DL3][DLP] 及 "2024 年诺贝尔物理学奖科学背景" 均未提及这些深度学习的起源。([BM] 也未引用 Sherrington 和 Kirkpatrick[SK75] 以及 Glauber[G63] 的相关先驱工作。)
3、诺贝尔委员会还称赞了 Hinton 等人在 2006 年的深度神经网络分层预训练方法 [UN4]。然而，这项工作既未引用 Ivakhnenko 和 Lapa 在 1965 年的原始深度神经网络分层训练 [DEEP1-2]，也未引用 1991 年深度神经网络无监督预训练的原始工作 [UN0-1][DLP]。
4、Popular information 称："1960 年代末，一些令人沮丧的理论结果使许多研究者怀疑这些神经网络永远不会有任何实际用途。" 然而，深度学习研究在 1960-70 年代显然是活跃的，尤其是在英语世界之外。[DEEP1-2][GD1-3][CNN1][DL1-2][DLP][DLH]。
5、在以下参考文献 [DLP] 中，可以找到更多剽窃和错误归因的案例，该文献也包含了上述其他参考。可以从第 3 节开始阅读：
[DLP] J. Schmidhuber (2023). 三位图灵奖得主如何重新发表他们未曾归功于原创者的关键方法和想法。技术报告 IDSIA-23-23，瑞士 AI 实验室 IDSIA，2023 年 12 月 14 日。
参见以下参考文献 [DLH] 了解该领域的历史：
[DLH] J. Schmidhuber (2022). 现代 AI 与深度学习的注释历史。技术报告 IDSIA-22-22，IDSIA，瑞士卢加诺，2022 年。预印本 arXiv:2212.11279。
参考链接：
--- 完 ---