如何看待ICLR2024录用结果?

笑看风云

如何看待ICLR2024录用结果?
原文地址：https://www.zhihu.com/question/639592374

感恩由您

宣传一下我们的工作。我们的模型可解释性研究在ICLR 2024的评审中获得了6888分，很荣幸被选为Oral Presentation，欢迎感兴趣的朋友们交流讨论：
Less is More: Fewer Interpretable Region via Submodular Subset Selection


主页：
Less is More: Fewer Interpretable Region via Submodular Subset...在本文中，我们解决了当前SOTA归因算法的两个挑战：1）现有的归因方法生成不准确的小区域，从而误导了正确归因的方向；2）模型无法对错误预测的样本产生良好的归因结果。



对于正确预测的样本，我们的方法可以找到更少的区域，从而使模型预测更加可信。 对于预测错误的样本，我们的方法可以找到导致模型预测错误的原因。

为了解决这些问题，我们提出了一种新颖的图像归因算法，将归因问题重新表述为子模子集选择问题，并以更少的密集区域实现更高的可解释性。 我们从四个角度设计了一种新颖的子模函数，并采用贪婪搜索算法对划分的密集子区域进行归因。



所提出方法的框架。

它不仅提高了现有归因算法的归因区域密度，而且可以更好地发现图像预测错误的原因。例如，在下图中我们针对CUB-200数据集中模型预测错误的样本进行归因，在经过我们的归因方法搜索后，我们可以找到使模型重新预测正确的区域，从而大幅度提高了归因能力，同时能解释导致模型预测错误的原因，即图中的暗区域



用于发现导致模型预测错误的原因的方法的可视化。 Insertion曲线显示了搜索区域与地面真实类别预测置信度之间的相关性。 突出显示的区域与曲线中红线指示的搜索区域相匹配，暗区域是该方法识别出的错误原因。

此外，我们也对方法进行了理论分析，提供了理论保证，请参考附录。
未来展望：我们的方法在子区域划分上是用先验显著图配合Patch进行划分，然而这样划分方法的缺陷在于，部分子区域的划分可能不好。我们也在尝试使用Super-Pixel还有Segment-Anything进行相关的实验。此外我们也将进一步在大模型方向验证我们的可解释方法。
代码：我们将原始的代码已经发布到了Github，后续也将会进行整理，更新README，欢迎大家尝试！
https://github.com/RuoyuChen10/SMDL-Attribution此外，欢迎大家加入研究可解释AI的队列，加油！
以下为个人的一些愚见，认为可解释AI在现代深度学习模型中各应用场景的重要性：


另外如果对大模型可解释性内容感兴趣的，也可以参考一下我做的PPT：
https://ruoyuchen10.github.io/talk/Ruoyu_Chen-Interpretation_of_foundation_model.pdf

感恩由您

纯小白，第一次投稿，分享下自己的工作，8866，spotlight
“通过Krylov recycling算法 加速PDE数据集生成”
Accelerating Data Generation for Neural Operators via Krylov Subspace Recycling | OpenReview
[2401.09516] Accelerating Data Generation for Neural Operators via Krylov Subspace Recycling (arxiv.org)


省流截图

神经算子等数据驱动的PDE算法是AI for PDE最近最火的算法，例如：FNO等工作都火出圈了，用于了很多其他AI领域。
但是计算数学中各类不同的PDE差距巨大，在数值求解PDE领域本身就没有“泛化性”这一说。也就是说，为了训练这些看似高级的AI算法，反而需要针对不同的PDE反复调用传统算法来生成训练数据集。
而计算数学中NPDE主要研究的是如何更好地求解一个PDE问题，并不存在求解一系列PDE问题生成数据集这种问题。即传统计算数学领域并不存在加速生成PDE数据集的任务。
于是乎，一般的做法，例如FNO、DeepONet等工作的数据集都是通过反复调用传统算法来生成的，没有任何优化。但事实上，这些PDE问题本身就存在很强相关性（神经算子就是在学这个）。我们设计了一种基于Krylov subspace recycling的算法，从纯计算数学的角度来获取PDE之间的相关性，从而加速了线性方程组的求解，最终加速了数据集生成。（具体细节见论文吧，也可以私我）
为什么说是纯计算数学的呢？因为我们是从矩阵算法、子空间加速角度出发的，是纯加速，没有误差损失，也就是不会改变最后生成数据的结果。
最后我们从理论上，分析了为什么我们能加速，以及如何对数据集排序让效果更好。
从实验上，在四个不同PDE，5+种矩阵大小，5+种预处理方法，5+种精度，总计3k组实验，对比了我们算法和GMRES算法的计算开销和迭代次数，基本上都取得了很好的效果，计算速度上加速高达14倍，迭代次数上降低高达30倍。大部分的实验计算速度加速了2-5倍，迭代次数降低5-15倍。

当然我们的工作也有很多待解决的问题：

• 我们强行假定讨论的PDE是用基于线性方程组的算法求解的，但实际上很多基于初始条件的PDE并不是这样求解的。
  
• 我们开发的是针对非对称矩阵的版本，并未对特殊结构的矩阵做算法加速优化（例如对称、对称正定）。
  
• 本文做了近3000组实验，但并未讨论recycle算法参数对最后加速效果的影响。
  
• 未对PDE的特征做对应优化（我也不会）
  

欢迎任何人找我聊，欢迎合作，我这边有无尽的idea完全做不完！包括但不限于，这个工作、AI for PDE、AI for 科学计算、AI for science、计算数学、理论物理、计算化学、计算物理。

最终感谢，老师们，同学的帮助。感谢王杰教授的帮助，MIRA Lab（我们组主页）。郝中楷给我提出的问题，带我入门。耿子介教我怎么写论文。汪震教我怎么用Linux。秦欧源、邓宽等同学带我入门Krylov算法、recycle算法等。徐宽教授教我计算数学。以及中科大和父母。

卡卡

ICLR24得分888居然被拒？Area Chair的Meta review完全事实性错误？
TL;DR: AC把我们方法的超参数N=1理解为了攻击次数为1，于是认为我们评测不充分，并引用了autoattack这一大家认为充分的攻击。然而，我们全文（除了特殊的adaptive attack外），全部是使用的AC所引用的autoattack。这样的meta review是不是一种笑话？

文章链接：Robust Classification via a Single Diffusion Model
文章的blog链接：虚无：扩散模型即为鲁棒分类器： Robust Classification via a Single Diffusion Model
<hr/>
888据我所知似乎是iclr历史上被拒稿的最高分了。
我先简单介绍一下这篇论文：我们提出了一种新的分类算法，直接使用diffusion这种生成模型（无需CNN ViT等分类模型）来做鲁棒分类。在对抗攻防的领域下，新的防御算法一旦提出，需要进行各种adaptive attack来进行充分评测，从而确保鲁棒性并不是因为评测不充分造成的。因此，我们也进行了大量的adaptive attacks。同时，攻击步数越多，攻击通常来说就越强。我们使用了大家默认的评测方式AutoAttack（最少100步攻击）进行评测。我们得到了3个审稿人的一致好评，得分888.




AC的意见

Area Chair的核心论点是：one-step attack不足以充分评测防御。只有AutoPGD这种multi-step attack才能充分评测防御。
然而，我们全文从未使用过one-step attack。我们全文（除了攻击diffpure的adaptive attack外），全部使用的是Area Chair引用的"AutoPGD"。
这样完全的事实性错误也太搞笑了。我们用的方法就是AC所cite的方法。AC却认为我们用的是one-step attack。AC为什么会这么认为呢？我猜是因为AC把我们方法中的超参数N的 (N=1)直接误认为了是攻击次数为1。把N=5误认为了攻击次数是5次。


AC很可能根本就没有仔细阅读论文，就随意的把“N=1”理解为攻击次数为1。one-step attack显然不是充分的评测。但是给出Meta review之前，是否可以多花一点时间想一想，在整篇文章做了这么多adaptive attack的情况下，难道作者所有攻击要么5步要么1步么？作者有意识做adaptive attack，难道还不知道“one-step attack不充分”么.....三个审稿人给分888，如果真是“作者的攻击次数是1”，难道他们三个看不出来么。。。

<hr/>下面我来回答一下Meta review的两个comments。
Comments 1: 理论分析部分和实际claim没有联系。并且不知道optimal diffusion classifier是怎么评测的。
我们在本篇文章中提出一个新的理论分析工具，即Diffusion Model和Diffusion Classifier的最优解。因此，我们只需要检验optimal下是否还有类似的问题。如果有，那我们应该改进模型；如果没有，那我们应该去查看empirical solution和optimal solution的区别，从而更好的改进我们的算法。我们发现对于对抗样本，主要区别在于empirical solution的diffusion loss相比optimal solution更小。这有且仅有2个原因。1) empirical情况下likelihood更小 2) ELBO和log likelihood差距大，从而导致diffusion classifier (theorem 1)近似误差过大。 为了解决这两个问题，我们提出likelihood maximization，去maximize elbo，同时增大likelihood，减小elbo和likelihood的误差。
至于optimal diffusion classifier的评测，我们在实验部分写的很清楚，除特殊声明和LM这种不可导的外，都是以"AutoAttack"进行评测的，即Area Chair引用的那个评测。我们使用AutoAttack，梯度又是准确的，同时几乎没有随机性，我们有理由相信评测是充分的。

Comments 2: 方法的高时间复杂度让作者无法用SOTA的白盒攻击来评测。作者只进行了one-step gradient attack，而这显然是不充分的。
经过其中一个审稿人的建议，我们已经测了real time cost。对于每张图片，之前的防御DiffPure需要0.60秒(linf)或0.72秒(l2)。而我们最终的方法需要1.43秒。时间复杂度高是我们的limitations，但不影响我们的评测。
最重要的是，"one-step gradient attack"当然是不充分的。但我们也当然知道这是不充分的，我们从头到尾就没用过one-step gradient attack。我们全用的是Area Chair所引用的"AutoAttack"。

队长是我

借楼宣传下我们MetaGPT的工作（Oral）：得分8883，最后Meta review的阶段AC极其nice的提到给3分的reviewer nitpick（懂得都懂），从结果看应该是按888给了。


* 论文地址：https://arxiv.org/pdf/2308.00352.pdf
* 项目地址：https://github.com/geekan/MetaGPT
2023年可以说是AI Agent的元年，2024年还会有什么新的工作脱引而出，拭目以待！

清风寡欲

86666, accpet.
这次5个审稿人包括 AC 给的意见都非常中肯，不胜感激。同时，也看到了自己和领域内优秀 researchers 的差距.
这次 ICLR 的论文是上一篇 ICML 2023 论文的延续，两篇文章分别从 training 和 sampling 角度给出了一行代码大幅提升 diffusion model 的方法，欢迎大家即插即用~

https://github.com/forever208/EDM-ES
https://github.com/forever208/DDPM-IP