实习生刚对字节大模型“投毒”，两人就联手获奖了
咱们好啊，我是董董灿。
前段时间闹得沸反盈天的字节大模型“投毒案”的主角——实习生田同学，在被字节申述背上了官司之后，居然拿下了 NeurIPS 2024 最佳论文奖。
而这篇获奖的论文，便是他在字节实习期间与团队协作宣布的。
听说这篇论文在同行评定中取得了极高的点评，是国内第二篇取得 NeurIPS 最佳论文的研讨，含金量十分高。
能够说是：田同学和字节，一边相互掐架，一边联手获奖，有点狗血。
咱们回忆下“投毒案”是怎么回事。
我查了一些材料，大概是两个月前，这位北大实习生田同学在字节实习期间，由于对团队感到不满，挑选了“投毒”。
他利用了 Huggingface 的一个函数缝隙，伪装了一个看似正常的文件，长途履行代码，篡改模型练习参数。
听说这种攻击方式能够让大模型在加载权重时篡改权重的值、改动练习参数等。
其时有人还剖析了他的“投毒”机制：大概是经过修正模型的优化器，篡改了参数的梯度方向，乃至随机让模型在练习过程中sleep（休眠），然后大大下降模型的练习速度。
模型在练习过程中梯度被修正了，这意味着什么我想许多同学都十分清楚——
反向传达传递过来的梯度被修正，模型想练习都练习不出来，白白浪费时间和 GPU 资源。
在这件事被发现后，田同学就被辞退了，随后字节一纸诉状将田同学告到了法院，除了补偿还要揭露赔礼道歉。
这便是这件投毒案的因由。
仅仅没想到的是，时隔不久，田同学和字节发的论文取得了 NeurIPS 2024 最佳论文奖，也算是活久见了。
论学术才能，田同学必定没问题，在学术方面十分的牛，可是那种“投毒”的行为，放眼全球都是迸裂的存在。
不得不慨叹，“天才”与“恶魔”，有时往往真的只在一念之间。
假如你想学习 AI ，欢迎来增加我的微信 (vx: ddcsggcs），会有许多好玩的AI技能共享，能够咨询、也能够围观朋友圈呀！欢迎检查我的专栏 >>1. 专栏：计算机视觉入门与调优 , 2. 专栏：Transformer 通关与大模型实战
