人工智能顶会真相！深度学习热度高，论文录取率创新低【附下载】| 智东西内参
发布时间：2021-12-12 20:57:11来源：智东西
AI顶会解析，看看大牛们都在关注啥？
编辑|智东西内参
近日，清华大学人工智能研究院知识智能研究中心、北京智谱华章科技有限公司联合发布了《2020年人工智能几个重点领域顶级国际学术会议分析报告》（以下简称《报告》）。依托于科技情报大数据挖掘与服务系统平台AMiner，《报告》主要从论文、作者、国家、机构等多个维度，详细展示了2020年机器学习、计算机视觉等人工智能几个重点领域顶级国际学术会议的前沿研究成果及其特征。如果想收藏本文的报告，可以在智东西（公众号：zhidxcom）回复关键词“nc589”获取。
来源清华大学人工智能研究院知识智能研究中心
原标题：
《2020年人工智能几个重点领域顶级国际学术会议分析报告》
作者：张淼等
01.
10大AI顶会
NeurIPS、CVPR、ECCV论文前三
报告所研究的人工智能这几个重点领域的国际顶会在2020年共计收到42683篇论文投稿，具体分布情况如下图所示。从单个会议投稿量看，神经信息处理系统年会NeurIPS在这10个会议中所接收到的论文投稿量最多，为9454篇论文，同时也在机器学习领域三个会议中居首。
其次是计算机视觉与模式识别会议CVPR和欧洲计算机视觉会议ECCV，分别收到6656篇和5025篇论文投稿。相比而言，知识发现和数据挖掘会议KDD和信息检索特别兴趣小组SIGIR所收到的论文投稿量较少，均不足2000篇。从子领域来看，机器学习、计算机视觉、自然语言处理三个子领域会议收到的论文投稿总量较多，反映出这些领域的论文研究成果丰硕。
▲人工智能几个重点子领域顶级国际学术会议2020年的投稿量情况
录取率方面，报告所研究的人工智能这几个重点领域10个国际顶会的论文平均录取率为22.1%。各个会议的具体论文收录情况如下图所示。
从论文录取数量来看，机器学习领域NeurIPS会议的论文收录数量最多，为1900篇；计算机视觉领域的CVPR和ECCV的论文收录数量次之，分别位于第二、第三位。这反映出，计算机视觉和机器学习领域高质量研究成果数量较多。
从论文收录率来看，信息检索领域的会议SIGIR论文录取率最高，该会议论文录取率为28.8%。相比而言，作为人工智能领域的首个国际学术性会议，经典AI领域的国际人工智能联合会议IJCAI的论文录取率在2020年的这10个国际顶会之中最低，为12.50%，且相比IJCAI2019年的17.9%录取率大幅下降，同时也是IJCAI会议自2013年以来的最低论文接受率，由此可见，随着IJCAI论文审稿愈来愈严格，论文被该会议接受变得越来越难。
在机器学习领域，NeurIPS会议的论文接受量虽然最多，但是该会议的论文收录率却最低。在计算机视觉领域，CVPR会议论文的收录率低于ECCV。在自然语言处理领域，ACL与EMNLP两个会议的收录率差别不大；值得一提的是，在EMNLP2020会议中，中国的论文接受率只有13.2%，远低于大会的平均水平，而英国、新加坡和丹麦在该会议中有超过30%的接受率，美国也有27%的接受率，可见中国学者论文的接受率还有待提高。
▲人工智能几个重点子领域顶级国际学术会议2020年的论文录取情况
02.
深度学习热度高
GNN、RNN算法最火爆
基于上文所述的人工智能几个重点领域10个顶级国际学术会议所收录的论文，通过对会议论文的标题、摘要和自带关键词进行统计分析和文本聚类，运用TF-IDF算法对所研究时段内的主题相关论文数量进行计算，获取论文数量TOP20的热点关键词并制作词云图，得到人工智能几个重点领域的近五年（2015-2020年）来的主题研究热点。
综合机器学习领域三个顶级会议（ICLR、NeurIPS、ICML）的论文研究点，发现近年来机器学习最热门的研究技术点是深度学习（DeepLearning）或深度神经网络（DeepNeuralNetworks）、强化学习（ReinforcementLearning）、深度强化学习（DeepReinforcementLearning），尤其是深度学习中的生成式对抗网络（GAN,GenerativeAdversarialNetworks）与循环神经网络（RecurrentNeuralNetwork,RNN)）两大算法模型，相关论文量占比达14.8%。此外，还都较多涉及了梯度下降（GradientDescent）方法。
除了以上共同的研究热点，ICLR与ICML都较多研究了深度学习中的对抗样本（AdversarialExamples）问题。ICLR与NeurIPS会议论文都较多研究了深度学习中的卷积神经网络（ConvolutionalNeuralNetworks，CNN）算法。而ICML和NeurIPS两个会议的论文都较多研究了贝叶斯优化(BayesianOptimization)、变分推断（VariationalInference）、高斯过程（GaussianProcess,GP）、主动学习（ActiveLearning）、在线学习（OnlineLearning）等技术点。
就单个会议而言，ICLR会议论文还较多研究了学习表征（LearningRepresentations）、迁移学习（TransferLearning）、无监督学习（UnsupervisedLearning）等方法。ICML会议论文还涉及了少量的差分隐私（DifferentialPrivacy）、非凸优化（NonconvexOptimization）方法，以及结构化预测（StructuredPrediction）问题；NeurIPS会议论文还较多研究了样本复杂度（SampleComplexity）等问题。
▲机器学习三大顶会会议论文近年研究热点词云图
综合分析CVPR、ECCV两个计算机视觉领域顶级国际会议的研究点发现，目标检测（ObjectDetection）与语义分割（SemanticSegmentation）是计算机视觉领域近五年（2015-2020）的最热门研究点，相关论文量占比8%。此外较热门的研究点还有行为识别（ActionRecognition）、行人重识别（PersonRe-Identification）、人体姿态估计(HumanPoseEstimation)、图像分类（ImageClassification）等问题，所采用的手段较多是深度学习（DeepLearning）及其代表算法之一卷积神经网络（ConvolutionalNeuralNetworks）等。
相对而言，CVPR会议论文还较多研究了视觉问答（VisualQuestionAnswering）、人脸识别（FaceRecognition）等问题，以及生成式对抗网络（GenerativeAdversarialNetworks）的模型算法；ECCV会议论文还较多研究了人脸对齐（FaceAlignment）、视频分类（VideoClassification）、图像描述（ImageCaptioning）、无监督领域自适应（UnsupervisedDomainAdaptation）等技术问题，以及无监督学习（UnsupervisedLearning）方式。
▲计算机视觉顶会CVPR与ECCV会议论文近年研究热点词云图
综合分析自然语言处理领域两个国际顶会ACL和EMNLP的论文研究热点可知，神经机器翻译（NeuralMachineTranslation）在自然语言处理领域2015-2020年的研究热度遥遥领先，其他较热的研究问题还有词嵌入（WordEmbeddings）、智能问答（QuestionAnswering）、语义解析（SemanticParsing）、实体识别（EntityRecognition）、文本分类（TextClassification）、关系抽取（RelationExtraction）、自然语言推理（NaturalLanguageInference）等技术点，较热门的研究对象是社会媒体（SocialMedia）。
除此之外，就单个会议而言，ACL会议论文还较多研究了统计机器翻译（StatisticalMachineTranslation）、领域自适应（DomainAdaptation）、依存分析（DependencyParsing）等问题，较热门的研究方法是深度学习（DeepLearning）以及深度学习之中的循环神经网络（RecurrentNeuralNetwork）算法等。EMNLP会议论文还较多研究了包括语言模型（LanguageModeling）、语义角色（SemanticRole）、语义分析（SemanticAnalysis）等问题，方法较多是关于深度强化学习（DeepReinforcementLearning）的。
▲自然语言处理顶会ACL与EMNLP论文近年研究热点词云图
通过分析国际顶会IJCAI论文发现，经典AI领域2015-2020年会议论文之中最热门的研究技术点主要为强化学习（ReinforcementLearning）、深度学习（DeepLearning）及其中的卷积神经网络（ConvolutionalNeuralNetworks）与循环神经网络（RecurrentNeuralNetwork）算法，以及迁移学习（TransferLearning）等，较多涉及了问答集编程（AnswerSetProgramming）、词嵌入（WordEmbeddings）、矩阵分解（Matrixfactorization）等研究问题，而社交网络（SocialNetworks）是这些论文较热门的研究对象。
▲经典AI领域国际顶会IJCAI近五年会议论文研究热点词云图
人工智能数据挖掘领域知名的国际顶级会议是KDD。通过分析KDD会议论文数据，发现数据挖掘领域研究热点近年来主要是以大数据（BigData）、社交网络（SocialNetworks）、社交媒体（SocialMedia）、异构信息网络（Heterogeneousinformationnetwork）等为研究对象，通过采用机器学习（MachineLearning）之中的深度学习（DeepLearning）、多任务学习（Multi-TaskLearning）、主动学习（ActiveLearning）等方法，关注涉及了数据科学（DataScience）、推荐系统（RecommendationSystems）、异常检测（AnomalyDetection）、显示广告（DisplayAdvertising）、点击率预测（Click-ThroughRatePrediction）、高效算法（EfficientAlgorithm）等问题。
▲数据挖掘领域国际顶会KDD近五年会议论文研究热点词云图
据信息检索与推荐领域国际顶级会议SIGIR论文数据显示，该领域近五年（2015-2020）科研论文主要是针对社交媒体（SocialMedia）、电商搜索（eCommerceSearch）、社会网络（SocialNetworks）等研究对象，研究关于信息抽取（InformationRetrieval）、网络搜索（WebSearch）、问答（QuestionAnswering）、推荐系统（RecommendationSystems）、查询性能预测（QueryPerformancePrediction）等热点问题，所采用的较热门技术方法包括知识图谱（KnowledgeGraphs）、知识库（KnowledgeBases）、主动学习（ActiveLearning）、弱监督（WeakSupervision）等技术点。
▲信息检索与推荐领域国际顶会SIGIR近五年会议论文研究热点词云图
03.
最佳论文
美国一骑绝尘，中国第三
本年度人工智能几个重点领域国际顶会共计评选出13篇最佳论文，截至本报告时段总引用量达到999次。通过命名消歧和信息抽取等大数据分析和挖掘技术，分析发现这些顶会最佳论文具有如下特征：
在2020年人工智能会议中，获得最佳论文奖项的论文共计13篇，参与作者共计51人。从所属国家来看，最佳论文的作者分别来自美国、中国、英国、意大利、新加坡以及以色列。其中美国获得会议最佳论文的作者有35位，占比最高，达到68.6%，分别来自于斯坦福大学、加州大学伯克利分校、普林斯顿大学等高校以及OpenAI、谷歌研究等企业研究部门，数量远超其他国家。中国获得顶级学术会议最佳论文的作者数量占比达9.8%，位于第三。
▲人工智能几个重点领域国际顶会最佳论文作者所属国家分布
本年度人工智能几个重点领域顶会最佳论文呈现出跨国跨机构多位作者合作的特征：在被授予的13篇最佳论文中，没有论文是由单一作者独立完成，全部都是由不同国家或不同机构的多位学者合作而完成的。在这些合作论文之中，论文作者数量最少为2位，最多达31位，详细信息如表5所示。例如，中国北京理工大学硕士生KaixuanWei为一作的论文Tuning-freePlug-and-PlayProximalAlgorithmforInverseImagingProblems是他与本校计算机学院教授YingFu（付莹）、HuaHuang（黄华），以及剑桥大学博士后JingweiLiang（梁经纬）、AvilesRiveroAngelica等6位学者合作完成的。
告所研究会议论文的发布方主要以各个国家和地区的大学为领先机构。例如，在今年CVPR论文作者量排名前十的机构之中，中国高校占据了七席，包括清华大学、上海交通大学、北京大学、浙江大学、中科大、北航、西安电子科技大学，其中，来自清华大学的作者高达340位，位列第一。
在机器学习领域，2020年的ICLR、ICML、NeurIPS三大国际顶级会议中，论文收录总量TOP10的机构是谷歌、麻省理工学院、斯坦福大学、加州伯克利大学、微软、卡内基梅隆大学、DeepMind、普林斯顿大学、清华大学以及牛津大学，如下图所示。其中，谷歌被收录论文总数最多，为347篇，位居榜首。其次是麻省理工学院，论文被收录197篇，斯坦福大学论文被收录量排名第三，为185篇。国内清华大学论文被收录86篇，位居第九，也是唯一上榜的中国机构。
▲机器学习国际三大顶会2020年论文被收录总量TOP10机构
从单个会议看，ICLR、ICML和NeurIPS论文收录最多的机构都是以谷歌居首，并且除了中国的清华大学在ICLR会议的论文收录量位于第三之外，其他AI顶会的前三席位几乎都被美国顶尖机构占据。这反映出美国机构在人工智能机器学习领域具备全球领先的创新实力。
▲机器学习国际三大顶会论文收录前三机构
具体而言，在NeurIPS2020会议上，谷歌、麻省理工学院和斯坦福大学分别以202、109和104篇论文成为论文被收录量最多的前三机构，清华大学位列第七，有63篇，北京大学有37篇入选，排在第20位。
▲NeurIPS2020论文收录量前20的机构
在经典AI领域的国际顶会IJCAI2020上，就被收录论文的所属机构而言，中国科学院位居榜首，有42篇论文入选；中国科学院大学以34篇论文排名第二；浙江大学入选26篇论文，排名第三。在论文收录机构前15名中，中国机构占据12席，
▲IJCAI2020会议论文入选机构前15名
智东西认为，顶级国际学术会议是全球人工智能学术交流和最高成果展示的平台。中国人工智能学者及其成果频频出现在这些顶会的背后，体现出中国AI技术实力的不断提升。作为业界顶会的重要参与者，我国在人工智能学术领域与美国等强国之间的差距逐渐缩小，中国AI学者正不断提升在国际学术圈中的影响力和话语权，这也将为我国人工智能发展带来新的机遇。
