如何看待ICLR 2024的审稿结果?

青草

如何看待ICLR 2024的审稿结果?
原文地址：https://www.zhihu.com/question/622925909

长长的路

无投稿，无广告，利益无关。
看了一眼Accept列表，发现了一些熟悉的论文名字，微信搜索一下，发现了一些fun facts，似乎微信公众号小编水平已经堪比OpenReview同行评议水准：

• ZERO++
  
  
  • 多GPU通信效率提升4倍，RLHF生成提升2.25倍！DeepSpeed ZeRO++重磅升级
    
  • DeepSpeed ZeRO++：降低4倍网络通信，显著提高大模型及类ChatGPT模型训练效率
    
  
  
• FlashAttention-2
  
  
  • 比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了
    
  • 斯坦福博士一己之力让Attention提速9倍！FlashAttention燃爆显存，Transformer上下文长度史诗级提升
    
  
  
• LongLLaMA
  
  
  • 将上下文长度扩展到256k，无限上下文版本的LongLLaMA来了？
    
  
  
• SpQR
  
  
  • 将330亿参数大模型「塞进」单个消费级GPU，加速15%、性能不减
    
  
  
• LLaMA-Adapter
  
  
  • 微调7B模型只用单GPU！通用多模态工具LLaMA-Adapter拆掉门槛，效果惊人
    
  
  
• StreamingLLM
  
  
  • 最多400万token上下文、推理提速22倍，StreamingLLM火了，已获GitHub 2.5K星
    
  • 400万token，大模型推理飙升22倍！清华校友爆火一作，GitHub狂揽1.8k星
    
  • 400万token上下文、推理再加速46%！最新开源方案升级MIT成果，推理成本再降低
    
  
  
• SDXL
  
  
  • 开源文生图模型再进化，Stable Diffusion XL 1.0登场，出图效果不输Midjourney
    
  
  
• Sophia
  
  
  • 马腾宇团队新出大模型预训练优化器，比Adam快2倍，成本减半
    
  
  
• HyperAttention
  
  
  • 全新近似注意力机制HyperAttention：对长上下文友好、LLM推理提速50%
    
  
  
• MetaGPT
  
  
  • GitHub 1.1万星，模拟软件开发流程，开源框架MetaGPT爆火
    
  
  

<hr/>省流：不是ICLR投不起，而是微信公众号更有性价比！（逃

检验医师

我只能说这是我4年来参加过的最拉的一届iclr...自己的稿子和审的稿子基本上审稿人都在装死，ac也不催讨论，完全失去了iclr能和审稿人battle这个最大的亮点...真*做得好不如命好，摇到负责的审稿人比什么都重要。
绝了，我现在审的所有稿子里，审稿人之间也没对话，AC也没出现，ICLR 逐步AAAI化（手动狗头）。

继续前进

爬完了所有文章放个统计结果
给分今年果然偏低


极差有点可怕


LLM太火了




新增均分最高的top20keyword的分布(文章数＞10)



占坑有时间接着分析

https://github.com/SqrtiZhang/openreview_ICRL2024_analysis 放个git链接，有需自取

清风寡欲

--24/1/16/21:40 update
中了，但是可惜只是poster，之后会开始宣传的，预告一下呀。
mix.jinny：[ICLR2024]如何更好的评估和筛选伪标签？从Reward Model设计出发。
SemiReward: A General Reward Model for Semi-supervised Learning
官方代码--11/30/14:04 update
转头看 avg.6 已经到1500-2000了，就离谱，这几天涨分太快了。老老实实等结果吧。
--11/22/4:59 update
持续和最后一个审稿人互换意见...半夜斗争好伤身体。
全部正分收尾，rebuttal结束，开启下一个project。
--11/21/20:12 update
俩审稿人改了置信度，有个说concerns放在了main paper，我给半天没有找到...what is main paper？
--11/16/21:20 update
我单方面宣布ICLR是全世界最公正的会，这篇LeCun和Yi Ma合作的作品被打了比较低的分数（3553）。
EMP-SSL: Towards Self-Supervised Learning in One Training Epoch--11/13/5:00 update
刚刚看到了一篇很有意思的经典审稿人-作者互喷环节
Reverse Diffusion Monte Carlo
ICLR 2024 Conference Submission8638 Authors
https://openreview.net/forum?id=kIPEyMSdFV&noteId=fF2X7dIPz0


目前这位审稿人和文章作者在短短几天时间内Battle了好几条，乐子非常大，甚至牵扯到了态度问题。每年可能都有，但是我感觉今年应该会特别多hhh。
突然发现，这篇作者把这位审稿人从1分rebuttal到6分了，真的是吾辈楷模......
--11/11/2:00 update
刚刚被合作者叫醒，几篇都是边缘，好好rebuttal吧...
利用爬虫抓取了openreview数据，统计得到今年均分在4.866，然后按照去年的录取率看大概在5.33均分以上都有录取的可能性。然后20%线，估算在5.67均分比较稳定可以被录取。
吐槽一下我们这个batch均分太低了...居然只有4.6左右
---
等一手审稿结果，有消息会持续跟进。
今年投稿量太大了，统计的有效稿件在7327份，而且平均工作质量也没有随着稿件增多而下降。
目前看到的很多做VLMs和LLMs相关也有不少有趣的思考角度（不过对应appendix比正文还多3-4倍真的有点离谱了）。
--11/11/0:26 update
可能要延期了，soon(tm)应该表示快了但是完全没有。

检验医师

尊敬的ICLR审稿人，如果你看不懂我们写的就不要给个borderline reject然后提一些background 和setting的问题，然后在我们回答完问题之后装死，谢谢！