Bendi新闻
>
以ACL 2024为例,从投稿到接收:顶会投稿后全流程揭秘

以ACL 2024为例,从投稿到接收:顶会投稿后全流程揭秘

7月前
 夕小瑶科技说 分享
 作者 | Erutan Lai
 来源 | 知乎

想必很多同学都会感到好奇,论文投稿之后会经历什么?

写这篇文章,就我所知的,简单科普一下。毕竟没当过大Chair,有些环节我也不太了解,如有疏漏在所难免,欢迎指正。

每个会议,甚至同一个会议不同年份,都会略有差别。所以本文主要就2024年2月ACL ARR(ACL 2024)的投稿流程为例,讲讲顶会论文投稿之后会发生的事情。

截稿前后

截稿时间一般可以参考Call For Papers。ACL ARR 2024 Feb.的截稿时间是2月15日,这个时间时AoE(Anywhere on Earth)的时区,也就是UTC-12的时区,比北京时间晚20小时。也就是北京时间次日的晚8点。后面我们说的都还是按照ACL官方的AoE时间来说,这样比较方便。

https://aclrollingreview.org/cfp

早在截稿日期之间,会议的AC/AE(Area Chair,Action Editor,后文统称AC),以及审稿人(Reviewer)就会收到邀请。并且随着提交量的增加,还会陆续邀请更多的AC和审稿人来确保文章都能按时收到Review和Meta-Review。

根据官方统计,这次ARR投稿量创新高,达到4835篇。相比2023年12月(历史第三)的投稿量增长了86%。其中只有13%是修改后重投,其余均为新稿。为了处理这些投稿,共有4205个审稿人分配了稿件(增长37%),并对应659名AC(增长45%)。

http://stats.aclrollingreview.org

很多作者应该也发现了,无论是提交还是修改稿件,所有作者都会收到邮件提醒。因此,你想背着导师送他一篇ACL,是不太可能的。当然,这也是违反学术规范的。

审稿开始前

2月15日投稿,2月26日才开始审稿,这中间发生了什么?

随着投稿的进行,除了邀请新的审稿人和AC外,也会要求部分现有的审稿人和AC调整领域以更好地适应投稿的分布。这会一直持续到截稿之后。比如这次ARR审稿人相对稀缺的领域:

2月23日之前,匹配和论文SAC及AC。2月23日~26日,匹配论文和Reviewer。

从论文的角度,会先做一轮desk reject,并将论文分配给SAC/AC。程序的自动desk reject只能识别部分明显的情况,比如论文就写了一两页,明显没写完的。我猜用中文投稿的应该也能识别出来。部分超页数但不太明显的,或者保留了致谢暴露作者信息的,都需要后续的AC及审稿人手动处理。

然后会分配审稿人。AC可以看到每个审稿人的信息,并可以手动修改审稿人的分配。这些修改可能是从审稿人专业性的角度,或者审稿人diversity的角度。但一般没人改。懒。

AC需要填一个AE Checklist,例如这样:

审稿人在审稿前也要填一个Reviewer Checklist,例如这样:

这个Reviewer Checklist也可以当做审稿人的签到表,因为相对比较好填。理论上,审稿人如果没能在审稿的前一两周完成,AC可以认为审稿人没看见,来重新分配审稿人。但实际上,很多审稿人都忘记填这个了,AC也没那个功夫盯这个。

实际上,这次也没能26日就开始审稿,还是晚了几天,3月1日才开始。

审稿中

随着前面流程的推迟,审稿的窗口期也一直在变。会前规划的是2.26~3.18;开始审稿时的是3.1~3.20,而实际上,审稿直到3月27日开始Rebuttal后才基本完成。

3月11日,理论上审稿流程过半,实际上只收到7%的审稿意见。

3月15日,理论上还有5天审稿结束,实际上只收到15%的审稿意见。甚至有80篇AE checklist没有收到。

3月18日,理论上不再分配新的审稿人,但实际上还有大量的审稿人没有提交审稿意见。

3月20日,理论上的审稿DDL,实际上AC开始用个人邮箱给审稿人发邮件催(以免进垃圾邮箱),并为24小时内没有回应的论文分配新的审稿人。(有些审稿人这个环节没有回应,但后面又交了,导致论文有4个审稿人)

审稿人需要注意的是,如果分配的论文数没有达到max-load,这个阶段AC是可以无需邀请直接分配论文的。分配论文数是可以修改的。如果最开始设置的数很大,又没分多少篇的话,记得把max-load调小,以免最后时刻被分配一堆论文。

3月26日,公布审稿意见(理论上应该3月24日公布)。

3月29日,审稿意见回收率达到约99%。剩下的1%的审稿意见尽量在48小时内收回。

以上都是在假设AC还在的情况下。但就像审稿人可能失踪一样,AC也可能失踪。这时就需要ARR的SAC、PC等人去找Emergency AC来处理论文并撰写后面的meta-review。

关于审稿,实际上一篇论文的能花4~6个小时,就算审的很认真了。而短的话,甚至花不到1个小时。

我一般会快速看一遍摘要和引言部分。看动机/故事是否合理;贡献总结得是否有价值。然后看后面的方法和实验,主要看贡献是否被足够地支撑了。部分文章会看下实验结果和baseline是否solid。过程中会关注下typo。看完之后,看看优点多还是缺点多,是中还是拒。

当然,现在如果有ChatGPT的话,还能替代不少审稿环节。

审稿人打分表(2分是明确的负分。3分对于Findings和workshop来说是明确的正分。):

https://aclrollingreview.org/reviewform

得到审稿意见后

审稿开始前,预计的rebuttal是3.24-3.27,meta-review 4.4给出。

▲image

审稿开始后,预计的rebuttal是3.26-3.30,meta-review 4.7给出。

▲image

实际上,rebuttal持续到4月2日。meta-review目前还在进程中。

相比同期的IJCAI等会议,ARR的审稿人还是非常热衷于回复Rebuttal的。有大概1/3的Rebuttal都得到了较为详细的回复,只有大概1/3的Rebuttal无人问津。

而且,很多认真回复的论文都得到了涨分。我觉得主要是这次好多审稿人最初的打分偏低。

AC在给Meta-Review的时候,一般会考虑分数、每个审稿人列出的优缺点、以及rebuttal的回复。

AC一般没时间仔细看论文。甚至连review和rebuttal都没时间仔细看。比如我这里7篇没有撤稿的论文中,共有137个回帖(部分是check list),根本看不过来。会比较关心review看完rebuttal之后的表态(问题是否被解决),有时也会看看rebuttal是否覆盖了review指出的所有缺点(是否有难以回答的缺点)。

Meta Review打分表:

需要注意,publishable state不止指主会,Findings也算。所以3分对于主会而言不算是明确的正分。

https://aclrollingreview.org/actioneditorform

我这次打的meta的分数中,meta=4的有2篇:均分3.3的长文和均分3的短文;meta=3的有1篇:均分2.5的长文;剩下的meta都是2,均分:2.75/2.63/2.5/2.5。

meta会考虑review的分数,但也不完全。比如我给meta=3的那篇是个还不错的数据集的文章,缺点不多,但最大的问题是特点也不够突出。但数据集也很难修改,给个meta=3希望他能findings出去。而meta=2的文章缺点都很明显,要么有致命问题,要么需要大改。不过,投稿ACL时除了meta-review之外,review也会被考虑。所以拿到4分的meta也不算稳。

ACL 投稿

根据ACL的 call for papers,4月15日之前在ARR上得到Review和Meta-Review。4月20日之前提交到ACL。

一般来说,这次提交到ACL是不允许修改的。因为ACL确定是否录用,主要基于ARR的审稿意见,如果有较大修改(大到会改变审稿意见的程度),需要再重投一轮ARR以获得新的审稿意见。如果修改小到不影响审稿意见,那也没啥必要。

从Meta-Review的时间与提交ACL的DDL只差5天也能看出,是没有给大家安排充足的修改时间的。

https://2024.aclweb.org/calls/main_conference_papers/

提交到ACL之后,由ACL的AC(相当于之前的SAC)来根据Meta-Review、Review以及各个领域的平衡等因素确定录用(以及Findings)。

ACL一般不光会参考Meta-Review,也会参考Review及论文内容。并且还受领域均分影响。所以,meta=4分的文章连Findings都中不了,或者meta=3分的文章中主会都是有可能的。

而5月15日就会得到录用与否的结果了。

下一轮ARR提交

如果对审稿意见不满意,可以修改论文之后再投一轮ARR。

但比如对这次的ARR投稿,如果不是在投稿后就开始补实验修改,而是等到审稿意见出来之后再修改的话,不建议直接投4月的ARR。审稿人和AC一般希望看到实质性的改动。如果没有实质性地解决上一轮审稿时提出的问题,再下一轮重审时一般也不会仔细重读文章,而是简单给一个和上次一样或者更低的分数。

ARR 2024 Feb.的结果

根据官方的最终统计:
http://stats.aclrollingreview.org/iterations/2024/february/

4835篇论文投稿,408篇(9.3%)撤稿,607篇(13.8%)为修后重投,1904篇(43.4%)选择在arxiv上提前公开(也是本轮开始允许的策略),858篇(17.7%)被标记需要Ethic Review。

一共4269名审稿人与710名AC被分配了论文,每人分配的篇数统计如下:

论文的审稿分数如下图所示:

有117篇(2.7%)超过3.75分;719篇(16.4%)超过3.25分;1999篇(45.6%)超过2.75分。

根据往年的比例,超过3.25分的主会概率较大,超过2.85分的主会或Findings概率较大,低于2.4分的大概率中不了。

有1382篇(31.5%)Meta>=4。Meta<=3的中主会和Findings概率较小。

审稿进程如下图所示,可以看到,无论是审稿人还是AC,DDL都是第一生产力。

常见问题汇总

投稿DDL之后是否可以修改作者?

一般不可以。包括增减作者,调整作者顺序,修改作者单位,一般都是不允许的。

现在取消匿名期了,论文在投稿前上传 arxiv 有何实际影响吗?

一般不会特意去查。但要是碰巧知道是谁投的,或许会有些先验。

Meta-Review是什么?

审稿意见太长了,只看均分又不够精细。meta-reviewer/AC是比较资深的审稿人(和之前的审稿人不同,相当于会换审稿人),根据若干条审稿意见,概括出一份精简版审稿意见,和一个针对论文的整体分数。这个精简版的内容,会给senior-AC去看,他们会从会议的角度,给出是否录用,如何录用的意见,并交给PC做最终决策。

均分和Meta-Review差异过大?

Meta-Review是AC基于自己主管判断给出的,的确可能差异较大。

而且,有可能虽然均分低,但Meta觉得论文没啥好改的,给到4分并推荐Findings/Workshop之类的。

分数是XX,是否可能中?

一般只能说,均分>=3.5,meta=4中的概率>80%。但中稿这事儿也是有很多外部因素和主观因素的。

一般meta=3中主会概率<25%,meta=2中的概率<25%。均分<3中主会的概率<25%。

投到ACL是是否可以修改:

一般不可以。

是否可以出分数后立刻投下一轮ARR:

有时允许,但一般不建议。除非做出了实质性的修改。


微信扫码关注该文公众号作者

来源:夕小瑶科技说

相关新闻

顶会投稿之后会经历什么?以ACL ARR 2024 Feb.为例从自嗨到竞技:人类休闲生活的早期巨变——以古代希腊为例克劳锐:2024以理想汽车为例透视汽车品牌社交营销文末送书!大语言模型应用指南:以ChatGPT为起点,从入门到精通的实践教程LIFE发布 | 揭秘主视觉诞生记:以光为媒,点亮教育未来!揭秘母亲节的真正起源:从古希腊到现代,一切光荣和骄傲都来自母亲谭飞:以《繁花》为例,做导演能从王家卫身上学什么?揭秘2024智能汽车头号黑马:城市NDA+L3自动驾驶行业首秀,智驾全场景互融互通双一流MBA的保险转型之旅:从抗保到爱保的蜕变之道——揭秘名校背景下的保险人生新篇章ACL 2024 Oral | 大模型也会被忽悠?揭秘AI的信念之旅波士顿动力技术揭秘:后空翻、俯卧撑与翻车,6年经验、教训总结揭秘:90后宝妈是如何靠副业做电商翻了身全球6G技术大会:2024年以用户为中心的6G接入网技术研究白皮书从 0 到 1,揭秘中国首个 AI 音乐 SOTA 模型战略定力:从南海到巴以OpenAI联合创始人Andrej Karpathy:以自动驾驶为例,谈谈AGI讲座预告|以哥大心理项目为例:研究型硕士 vs. 实践型硕士儿科医生揭秘:孩子包皮手术全攻略,家长必知的科普知识!公开讲座|研究型硕士 vs. 实践型硕士:以哥大心理项目为例从越战到巴以战争:美国大学为何掀起反以色列运动?空服员大揭秘:难搞的乘客,会被起"这昵称"空服员大揭秘:难搞的乘客 会被起「这暱称」分布式数据库入门:以国产数据库 TDSQL 为例华为Pura 70拆解大揭秘:这些芯片也都是国产!
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。