实习生刚对字节大模型“投毒”,两人就联手获奖了

大家好啊,我是董董灿。

前段时间闹得沸沸扬扬的字节大模型"投毒案"的主角------实习生田同学,在被字节起诉背上了官司之后,竟然拿下了 NeurIPS 2024 最佳论文奖。

而这篇获奖的论文,就是他在字节实习期间与团队合作发表的。

据说这篇论文在同行评审中获得了极高的评价,是国内第二篇获得 NeurIPS 最佳论文的研究,含金量非常高。

可以说是:田同学和字节,一边互相掐架,一边联手获奖,有点狗血。

我们回顾下"投毒案"是怎么回事。

我查了一些资料,大概是两个月前,这位北大实习生田同学在字节实习期间,因为对团队感到不满,选择了"投毒"。

他利用了 Huggingface 的一个函数漏洞,伪装了一个看似正常的文件,远程执行代码,篡改模型训练参数。

据说这种攻击方式可以让大模型在加载权重时篡改权重的值、改变训练参数等。

当时有人还分析了他的"投毒"机制:大概是通过修改模型的优化器,篡改了参数的梯度方向,甚至随机让模型在训练过程中sleep(休眠),从而大大降低模型的训练速度。

模型在训练过程中梯度被修改了,这意味着什么我想很多同学都非常清楚------

反向传播传递过来的梯度被修改,模型想训练都训练不出来,白白浪费时间和 GPU 资源。

在这件事被发现后,田同学就被辞退了,随后字节一纸诉状将田同学告到了法院,除了赔偿还要公开赔礼道歉。

这就是这件投毒案的来由。

只是没想到的是,时隔不久,田同学和字节发的论文获得了 NeurIPS 2024 最佳论文奖,也算是活久见了。

论学术能力,田同学肯定没问题,在学术方面非常的牛,但是那种"投毒"的行为,放眼全球都是炸裂的存在。

不得不感慨,"天才"与"恶魔",有时往往真的只在一念之间。

如果你想学习 AI ,欢迎来添加我的微信 (vx: ddcsggcs ),会有很多好玩的AI技术分享,可以咨询、也可以围观朋友圈呀!欢迎查看我的专栏 >>1. 专栏:计算机视觉入门与调优 , 2. 专栏:Transformer 通关与大模型实战

相关推荐
机器学习之心8 小时前
多目标鲸鱼优化算法(NSWOA),含46种测试函数和9个评价指标,MATLAB实现
算法·matlab·多目标鲸鱼优化算法·46种测试函数·9个评价指标
max5006009 小时前
基于Meta Llama的二语习得学习者行为预测计算模型
人工智能·算法·机器学习·分类·数据挖掘·llama
王哥儿聊AI10 小时前
Lynx:新一代个性化视频生成模型,单图即可生成视频,重新定义身份一致性与视觉质量
人工智能·算法·安全·机器学习·音视频·软件工程
手握风云-11 小时前
优选算法的寻踪契合:字符串专题
算法
闭着眼睛学算法12 小时前
【华为OD机考正在更新】2025年双机位A卷真题【完全原创题解 | 详细考点分类 | 不断更新题目 | 六种主流语言Py+Java+Cpp+C+Js+Go】
java·c语言·javascript·c++·python·算法·华为od
IT古董12 小时前
【第五章:计算机视觉-项目实战之目标检测实战】2.目标检测实战:中国交通标志检测-(2)中国交通标志检测数据格式转化与读取
算法·目标检测·计算机视觉
MobotStone12 小时前
LLM 采样入门到进阶:理解与实践 Top-K、Top-P、温度控制
算法
杨小码不BUG12 小时前
CSP-J/S初赛知识点精讲-图论
c++·算法·图论··编码·csp-j/s初赛
LeaderSheepH13 小时前
常见的排序算法
数据结构·算法·排序算法
周杰伦_Jay14 小时前
【图文详解】强化学习核心框架、数学基础、分类、应用场景
人工智能·科技·算法·机器学习·计算机视觉·分类·数据挖掘