正当这种忧虑还仅仅勾留在合理推测的层面时,更加严重的论文质量问题给出了“实锤”。
ICCV与CVPR是打算机视觉领域最具影响力的顶级会议。它们不仅是CCF会议列表认定的A类会议,CVPR更是在2018年谷歌学术期刊和会议影响力排名中位列前20。然而,近期这两大会议却纷纭爆出学术不端风波。
两大顶会接连涌现抄袭风波,谁该卖力?首先是南开大学程明明教授组被ICCV2019吸收的论文受到抄袭质疑,其择要部分与另一篇揭橥于CVPR2018的论文择要相似度非常之高。
图丨南开大学程明明教授组论文择要,地址:
https://arxiv.org/abs/1908.08433v1(来源:arxiv)
图丨CVPR2018论文
https://arxiv.org/abs/1801.03924(来源:arxiv)
图丨程明明教授也在知乎上快速做出了回应(来源:知乎)
ICCV 鉴定两篇论文的相似度仅为 3%,认定不构成抄袭。程明明也再次重申了对学术不端行为的重视,并表示今后将加强对论文的把控。
他表示:“在这件事情上,我们所有作者确实不足严谨,有明确任务。个中第一作者在撰写初稿过程中,在择要里如此高相似度的去写研究背景,连我自己都很震荡”。
程明明也公布了事宜发生和处理过程:一作的学生在撰写择要初稿的过程中,操持模拟 CVPR 2018 的择要的表述办法。但是在后续永劫光的修正中缺点地将操持参考的部分混入正文中。我们其他作者在后续修正的过程中紧张关注文章创新点、实验等部分,没有创造择要中背景先容部分的问题。接到 IEEE 邮件之后,我们已按照 IEEE 的建议进行了负责修正。这篇论文和 CVPR 2018 的研究问题、所用方法是不一样的,同时我们也在文中多次引用了 CVPR 2018 论文。
对付海内团队这一择要雷同事宜,知乎原帖下留言的不合也非常之大。
一些人认为过失落在于老师,毕竟老师有任务为论文把关。其余一些人则认为老师并无差错。毕竟人脑不是机器,每年干系领域会出身上千篇论文,老师怎么可能记得每篇论文中每一句话。避免类似问题,既不能靠老师,也不能靠评审,而该当建立查重系统。
不过也有人表示,纵然老师没有人肉查重的能力,也该当提醒学生不能利用和他人如此相似的表述。程教授的回答中称撰写择要的第一作者为高年级博士。高年级博士还犯如此低级的缺点,终归还是老师没有尽到教导的任务。
还有一部分人认为,老师和学生都没有差错。每年揭橥的论文万万万,能把相似的背景精确表述的话早就被古人说完了。论文要讲究“形散而神不散”,笔墨的相似没有关系,只要创新点突出,对全体领域有贡献即可,没必要在笔墨上苛责,让研究者把韶光摧残浪费蹂躏在组织不一样的表述上。
如果说中国团队这篇论文是“形散而神不散”,那下面这篇便是“形不散而神散”了。在第二起学术不端风波中,研究者 Jason Antic 创造,被 CVPR2019 吸收的一篇论文剽窃了自己的研究成果 Deoldify,而他在几月前刚好和该论文的一位作者谈及过该成果!
仔细阅读论文,Jason Antic 创造,这篇论文声称他们受到了 Deoldify 的启示,而实际上根本便是 Deoldify 的副本。论文作者称早已包含在 Deoldify 中的部分是自己做出的改进。而他们自己真正做出的“改进”实在只是为了使该论文的代码可以与 Deoldify 有所差异。
(来源:推特)
当 Jason Antic 开始仔细阅读论文,一样样罗列证据时,剽窃者开始心虚。他们给出了这样的办理方案:将 Jason Antic 的名字加入作者的行列中,列在第三位,并将修正后的论文 pdf 发给了 Jason Antic。
图丨上图为 CVPR 2019 出版论文,地址http://openaccess.thecvf.com/content_CVPRW_2019/papers/NTIRE/Sharma_Robust_Image_Colorization_Using_Self_Attention_Based_Progressive_Generative_Adversarial_CVPRW_2019_paper.pdf;下图:论文作者修正后发给 Jason Antic的pdf,增加其为第三作者,且标注了 equal contribution(来源:cvpr)
Jason Antic 得到了很多研究者的声援,他也谢绝了剽窃者和解的要求,表示自己不会像个傻瓜一样为这样堂堂皇皇的抄袭行为开绿灯。接下来,剽窃者开始删除与论文干系的资料,注销自己的各种账号。不过好在 Jason Antic 先前已经截图,并将网络到的证据提交给 CVF(Computer Vision Foundation,卖力ICCV和CVPR的举办)裁决。
图丨有称,今年AAAI每位评审须要卖力5到10篇论文,事情量艰巨(来源:推特)
AI会议投稿数进入4位数时期,须要新的审稿机制?不久前有称,9 月 5 日截止提交的顶会 AAAI 论文注册数目超过 10000,AI会议论文投稿数进入 4 位数时期。
近年来,险些每个与人工智能干系的论文投稿数都在不断刷新记录。今年可谓是AI顶会“论文大爆炸”的一年,无论是已经举办的 IJCAI,还是正在路上的NIPS,都迎来投稿数的历史新高。往后者为例,今年,NIPS 会议的论文投稿量再创造新高,共收到 6743 篇投稿,终极吸收 1428 篇论文,与2018年比较增长40%,并在论文提交截止韶光前几分钟,做事器被挤爆。
好的一方面是,高投稿量一定程度上反响行业的发达发展和创新呈现,但对付论文吸收方来说,这样弘大的数目给会议论文评审带来弘大的压力,今年乃至涌现了很明显的对顶会审稿机制不满的集体吐槽事宜。
图丨CCF 划分的人工智能A类会议(来源:CCF)
图丨清华大学最新版AI 顶会(来源:清华)
今年 5 月 9 日, IJCAI 公布录取结果,共吸收 4752 篇有效提交论文,终极收录 850 篇,任命率为 17.9%,低于历年均匀 20% 的任命率。公布结果之际,多位论文作者在网上表达了其对审稿结果的不满,称“本届 IJCAI 审稿史上最烂”,干系的谈论同样在当天登上了海内社区知乎的热门话题。
审稿问题以外,论文质量难以得到担保的问题实在早已凸显,而如今像 CVPR 这样的顶会,也涌现了触及学术不端红线的论文。
在 AI 领域,每个细分方向的专家实在数目有限,会议难以找到足够的评审者。常日来说,办理的方法只有两种:每位评审者承担更多的任务,或者是让不足资格或者不足理解该领域的研究者充数。不论选择哪一种方法,都会导致评审质量低落。其次,大量论文的呈现,让细分领域的专家也无法完备把握所有的研究成果,剽窃行为就可能侥幸躲过评审的眼睛。
人工智能领域的火爆之势还不见衰减,接下来各个会议的投稿数可能连续创造新高。回顾今年以来层出不穷的各种顶会“审稿乱象”,或许全体领域的审稿机制又到了急需改革的时候。
在诸多改进审稿机制的谈论中,乞助于技能的力量是一个值得关注的方向:能否通过自动化的方法减轻人工审稿包袱?这将是全体领域急需探索的问题,此前,北大一支团队就曾提出过用AI来帮助审稿的思路。如果自动化审稿的方法在AI领域能够跑通,对付其他学科方向来说,这样的探索也可以为其供应借鉴。