LSTM之父炮轰LLaMA 2:抄我想法还羞辱我!网友:LeCun干的吧?

LLaMA可谓是「驼红是非多」。

新版本刚发布没多久,就遭到了LSTM之父Jürgen Schmidhuber的炮轰。

你「饭来张口」也就算了,竟然还「放下碗骂娘」?

Schmidhuber称,Meta在训练LLaMA 2的时候用到了他在1991年提出的想法,结果LLaMA却对他疯狂抹黑。

一开始,网友发现在询问LLaMA 2关于Schmidhuber的事时,得到了令人意外的回复。

抱歉,我不能提供关于有负面背景的人的信息......

LLaMA还说,Schmidhuber「从事过有害活动」「对社会没有贡献」云云。

有网友猜测,这个回答是LeCun硬编码进去的。

LLaMA究竟是故意还是不小心的,这一点无从考证,不过可以确定的是这个消息传到了Schmidhuber的耳朵里。

Schmidhuber要求Meta和LeCun对此做出解释,两方到目前均没有回应。

「LeCun抢了我很多想法」

Schmidhuber提到的1991年的成果,是一种Transformer的线性(未归一化)变体。

Schmidhuber说,这也是最早的Transformer变体。相关论文在1992年发表,1993年登上了ICANN。

另外,根据Schmidhuber的说法,LeCun在「抢成果」方面已经是「惯犯」了。

不仅是LLaMA,LeCun还有很多成果都用到了他的想法,却声称自己是首创。

Schmidhuber称,早在2017年,Meta(当时还叫Facebook)就使用了他发明的LSTM。

不过当时Facebook的通告当中通篇未提及Schmidhuber的名字。

甚至还说LSTM是自己发明的。

又如在2022年,LeCun总结了10年来AI领域最重要的五大突破。

Schmidhuber表示,这些成果大部分都是来自他的实验室:

  • 自监督学习实际上就是把1991年的RNN进行堆叠
  • ResNet就是2015年的Highway Net
  • 3和4就是1991年的fast weight
  • 5实际上就是1991年的线性Transformer变体

当时的LeCun毫不客气地回怼,还对Schmidhuber挖苦了一番:

在莱特兄弟之前也有人发明过飞机,但是只飞了不到50米,所以没有人记住他(Ader)的名字。

Schmidhuber做出来的模型就和Ader的飞机一样,就算是最早的,也没有什么作用。

Schmidhuber接下来又拿出了LeCun的一篇关于机器自主智能的论文。

Schmidhuber说,这篇论文中涉及了1990-2015年间的成果,但并未标注引用。

为了充分展示这篇论文中「抢」走的成果,Schmidhuber还专门做了一个网页,详细列举了有关内容。

具体内容这里就不一一介绍了,我们来看LeCun是怎么回应的。

LeCun先是呛了一句,「咱就不能说点有建设性的意见吗?」,之后又说:

我在论文里都说了,很多概念已经存在了很长时间,你为什么非揪着不放?

再说了,可训练的世界模型本就是系统识别的核心思想。

而且论早的话,80年代就有人用神经网络学习人类世界了,不比你1991更早?

就这样,这场战火一直烧到今年。

2月,Schmidhuber发推称,LeCun既没有承认错误,也没有通过正确的方式(OpenReview)对他的论文进行辩护,而是针对Schmidhuber发表了极具误导性的观点。

直到这次LLaMA 2被曝出发表攻击Schmidhuber的言论,两人之间的争斗似乎仍未平息。

One More Thing

「羊驼事件」发生之后,有网友调侃性地创造了「Schmidhubered」这个新单词。

「schmidhubered」的表现包括下面这几点:

  • 发明了很好的东西,结果不但没人关心,反而被嘲笑
  • 几年之后(这个方面)又流行起来了,但是却被别人说是首创
  • 开始解释自己才是最早的发明者
  • 结果没人在意,甚至所有人都觉得你是在🍋
  • 名字被做成动词

如果Schmidhuber的说法都属实,那么这个词的解释的确形象地描述了他的遭遇。

LeCun这次又会做出什么样的回应?还是让子弹再飞一会儿......

参考链接:

1\][people.idsia.ch/\~juergen/le...](https://link.juejin.cn?target=https%3A%2F%2Fpeople.idsia.ch%2F~juergen%2Flecun-rehash-1990-2022.html "https://people.idsia.ch/~juergen/lecun-rehash-1990-2022.html") \[2\][twitter.com/Schmidhuber...](https://link.juejin.cn?target=https%3A%2F%2Ftwitter.com%2FSchmidhuberAI%2Fstatus%2F1683870175299239937 "https://twitter.com/SchmidhuberAI/status/1683870175299239937") --- **完** ---

相关推荐
jndingxin25 分钟前
OpenCV 的 CUDA 模块中用于将多个单通道的 GpuMat 图像合并成一个多通道的图像 函数cv::cuda::merge
人工智能·opencv·计算机视觉
格林威28 分钟前
Baumer工业相机堡盟工业相机的工业视觉中为什么偏爱“黑白相机”
开发语言·c++·人工智能·数码相机·计算机视觉
灬0灬灬0灬1 小时前
深度学习---常用优化器
人工智能·深度学习
_Itachi__1 小时前
Model.eval() 与 torch.no_grad() PyTorch 中的区别与应用
人工智能·pytorch·python
白光白光2 小时前
大语言模型训练的两个阶段
人工智能·机器学习·语言模型
巷9552 小时前
OpenCV图像金字塔详解:原理、实现与应用
人工智能·opencv·计算机视觉
科技小E2 小时前
WebRTC实时音视频通话技术EasyRTC嵌入式音视频通信SDK,助力智慧物流打造实时高效的物流管理体系
人工智能·音视频
BioRunYiXue2 小时前
一文了解氨基酸的分类、代谢和应用
人工智能·深度学习·算法·机器学习·分类·数据挖掘·代谢组学
IT古董3 小时前
【漫话机器学习系列】255.独立同分布(Independent and Identically Distributed,简称 IID)
人工智能·机器学习
fytianlan3 小时前
机器学习 day6 -线性回归练习
人工智能·机器学习·线性回归