怎么看待人工智能大佬陶大程老师学生疑似抄袭 ICLR24 论文？

Rose

陶老师的学生抄袭论文外网已经火了，过来转发一下。




抛砖引玉一下

原文地址：https://www.zhihu.com/question/650331989

大力水手

既然说是涉嫌抄袭，那当然要认认真真的找到两篇文章，然后首先从文本内容上确认一下：




经过对文本的仔细比对，我没能发现非常明显的抄袭痕迹，至少没有大段的copy&paste，最起码“降重”做的还是很到位的。
方法上非常相似：

• 两者都是为了解决扩散模型推理加速中的误差累积问题，特别是多步采样时的误差累积导致的质量下降；
  
• 在训练阶段，两者都提出了一种新的方法来减少蒸馏误差，使得模型能更准确的跟踪扩散过程的轨迹: a) CTM提出了软一致性匹配（soft consistency matching），通过随机选择教师模型的中间时间步u来决定蒸馏的信息量。 b) TCD提出了轨迹一致性函数(TCF)，通过扩展边界条件到任意时间步来减少蒸馏误差。 尽管具体做法不同，但两者的目标都是让学生模型更好的模仿教师模型在扩散轨迹上的行为；
  
• 在采样阶段，两者都引入了一定的随机性来减少多步采样中的误差累积: a) CTM提出了γ-采样，通过可调参数γ来控制每一步去噪和扩散的程度，在确定性和随机性之间进行权衡。 b) TCD提出了策略随机采样(SSS)，通过参数γ来控制去噪步骤的目标时间点和扩散步骤的噪声水平。 虽然具体策略有所不同，但引入随机性的思想是一致的。
  
• 两者在理论分析上也有相似之处，都给出了所提出方法的误差界，说明了其优于传统方法的原因。例如，CTM的Theorem 1分析了γ-采样的方差，TCD的Theorem 4.2分析了SSS的累积误差。
  

讲真，从方法上我还真看不太出TCD相较于CTM的创新性……
不过由于最近这件事引起的轩然大波，作者们特意在project页上发表了一份关于剽窃指控的声明，并晒出了与CTM团队之间的来往邮件，作为“佐证”，用于自证清白：


作者们特意指出，“来往邮件”的时间早于剽窃指控的发表时间。
我下载了来往邮件的pdf，我觉着吧，人家CTM团队发来的第一封邮件就“来者不善”——



这是由Chieh-Hsin Lai代表CTM团队发给TCD团队的一封邮件。邮件指出——

• CTM团队看到了TCD关于Trajectory Consistency Distillation的文章，并对TCD的工作表示赞赏。但他们发现TCD的论文与CTM的工作有明显的相似之处。
  
• CTM团队希望引起TCD团队对以下几点的注意，涉及论文的引用问题：a) TCD论文第4节提出的“anytime-to-anytime”预测同时包含score和long jump的想法与CTM第3节是一致的。 b) TCD的公式(15)和(19)与CTM的公式3.1 & B.1 & C.1相似，因此这部分应该被引用。 c) CTM的定理1，2以及CTM第4节的内容已经指出了TCD定理4.1 & 4.2的结果，所以如果要在TCD中引用对应的部分，应参考CTM的定理1，8和命题3。 d) TCD的训练损失（TCD的公式(22)）是在CTM中作为soft matching被引入的，所以应该引用它。 e) 虽然TCD的strategic stochastic sampling在第4.2节被作为新颖的内容提出，但它与CTM的第4节和算法3实际上是一样的。因此，应该引用CTM。
  
• CTM团队希望TCD团队能够尽早解决这些问题，以更清晰的方式阐明TCD的贡献并与CTM进行比较。
  
• CTM团队表示，如果TCD团队对上述事项有任何疑问，欢迎随时联系他们进一步沟通。
  

从这封邮件可以看出，是CTM团队主动联系的TCD团队，人家对于“隐隐的抄袭”及“不当引用”表达了不满，但是邮件的措辞比较委婉友好，表明CTM团队希望通过沟通解决问题，而非直接指责抄袭。
然后因为一直没有得到TCD团队的回应，CTM团队发来了第二封邮件——


这封邮件是 Yuki Mitsufuji 代表 Sony AI 的 CTM 团队发过来的，主要内容如下:

• Yuki Mitsufuji 博士是 Sony AI 负责生成式 AI 研究的部门主管，领导着大约80名研究人员。
  
• 他提到，CTM 的 Consistency Trajectory Model 已经在 ICLR 2024 被接收，并得到了 Stefano Ermon 教授的大力支持，因此对 Sony 来说是一个非常重要的知识产权。
  
• Yuki Mitsufuji 希望 TCD 团队能够在 ICML 审稿截止日期之前，对之前提出的问题给予回应。
  
• 如果到期无法得到回复，CTM 团队计划采取一系列行动，包括企业级的行动。
  

从邮件的语气可以看出，CTM 团队对TCD 论文的“相似性”问题非常重视，并希望尽快得到正面回应。提及“企业级行动”暗示了如果问题得不到妥善解决，事态可能会升级。
同时，Yuki Mitsufuji 也强调了CTM模型对 Sony 的重要性，表明他们很可能会采取措施维护自己的利益。
然后，TCD团队终于在“百忙之中”回复了一封邮件：

• Minghui由于工作繁忙，刚刚才有机会查看CTM团队发来的邮件。（所以绝不是故意无视对方邮件的）他对自己的回复延迟表示歉意。
  
• 关于CTM团队提出的问题，Minghui表示会召集所有作者开会讨论，并给出回复。
  
• TCD团队会仔细解决CTM提出的每一个问题。如果有任何疏漏的引用，他们会在修改稿中予以确认和致谢。
  

其实如果在这一步时，TCD团队能够好好回应对方的问题，并正正式式的在方法部分引用CTM文章，可能也就不会有后面的事情了……
显然修改结果让CTM团队非常不满，对方回了一封言辞比较严厉的邮件：

• CTM团队指出，TCD论文不仅没有恰当地引用CTM的原创想法（提供了arXiv v1版本的链接作为证据），而且直接复制了CTM论文中的完整句子和公式。CTM团队认为这是明显的抄袭行为，是完全不可接受的。
  
• CTM团队真诚的要求TCD论文的作者们对此事进行解释，并采取相应的行动。
  

从邮件的语气可以看出，CTM团队对TCD论文的不当引用和抄袭行为表示出了强烈的不满。他们不仅提供了证据（arXiv链接和PDF附件），而且直接指出这是“明显的抄袭行为”，态度比之前的邮件强硬了很多。
从邮件的附件名称“TCD's_issues 1.pdf”可以推测，CTM团队可能在其中详细列出了TCD论文存在的抄袭问题。
更重要的是，CTM团队已经把查重结果直接甩到了TCD团队的脸上：


也明明白白的指出了哪些部分“疑似抄袭”，希望TCD团队“解释”——


最后一封邮件是TCD团队针对这些问题的回应，类似于一封回复审稿人的邮件。
但尴尬的是，“审稿人”并没有再次回复，或者说再次回复就是直接把证据丢到Twitter上，希望大家帮助扩散，让更多的人知道TCD“抄袭”了CTM……
看了论文，看了人家CTM团队的指控，再看了TCD团队的回应，虽然不是相关领域的，但是总觉得怪丢人的……

检验医师

对于一年挂名个一二百篇的陶来说，
不意外，
甚至可能陶都不知道这事儿的细节
毕竟常在河边走。
其实，
很多人都是灌水，
但，陶，这么多年，确实是灌海。

清风寡欲

没出事时就是陶老师高产，一年中七八篇neurips；出事了就是这文章和陶老师没什么关系只是挂名，光速切割，陶老师被坑了。灵活authorship。

继续前进

这两篇文章我刚好前段时间看过，读到CTM的时候觉得甚是精妙是篇好文章，后来就看到了TCD，越读越气，还跟师兄讲，说这抄的也太不要脸了，理论的核心contribution几乎都来自于CTM，但是正文里都没有引用人家，只是附录的证明里写了一句borrow from CTM。

客观来讲，你做一个应用的paper吧，把人家的理论在更大规模上做通，这本身是有contribution的，老老实实引用人家，说明自己的contribution，不好吗？

提出新的生成模型，该生成模型在大规模实验下做通，这通常都是两步走的。你一下子就提出一类新的生成模型，并且就在大规模试验上做通了，这合理吗？如果这么容易，为什么做生成模型的人都还在做cifar-10，imagenet 64*64呢？

卡卡

又双叒叕update：


What can I say? 太嚣张了吧，有没有NTU的朋友麻烦举报到学术委员会...
再次update：
真的给我气乐了，这种回应就是明目张胆在侮辱学术。
拜托这位phd有没有接受过学术道德培养？真不知道phd毕业要求学术道德是第一位的？
认为不妥，所以改改就完事了？有没有一种可能，一但学术不端，你的博士学位就不应该取得...一句道歉重改就可以隐瞒学术不端的事实？本科生学术不端尚且可以严重到退学处分，请问博士生只需要道歉即可吗？这是处理事情的态度吗？
不仅仅没有丝毫悔过。并且亲自下次撕逼，这么长时间也不给出为什么这么抄袭的理由，反而在这里花时间怒喷网友...令人触目惊心、瞠目结舌。



update：
作者给予了回应，但是非常抽象的认为不是核心贡献的证明“借鉴”不算抄袭...
甚至还强调这是没有经过同行评审的预印本来说明自己责任轻微。
通篇我读下来，就是在逃避责任。希望作者能好好阅读IEEE的抄袭等级详细说明...
https://github.com/jabir-zheng/TCD“手动分割一下”
关于抄袭，我想提出以下几个问题：
1.两位第一作者在project page上说联系了被抄袭方，可是为什么没有给予公众一个回应。这种大篇幅的抄袭是怎么产生的，写论文的人心理应当心知肚明。
2.陶老师作为著名学者，在挂名这篇论文的时候，理论上来说是用自己的学术信誉在背书。但是貌似甚至不是文章通讯作者，这里背后肯定至少和这位博士生Hu有一些关联，我是不知道他怎么联系上陶老师的。但是这样塞过去一个炸弹，并且到现在说一些不痛不痒，还下场怼人的话语。这是在帮陶老师处理问题，还是进一步摸黑呢...
3.有人反应模型代码和论文不是特别一致，我也很好奇两位共同一作没有互相检查代码和论文的对应吗？如果没有，这还是正常的合作吗？
我好奇共同一作的Hu，作为一个senior phd，甚至担任了很多期刊顶会的审稿人和PC committee，难道连基本的学术原则都不了解吗？如果这种把学术不端当无所谓的审稿人对学术界的稿件进行受理，是一件令人失望的事情...