作者：Michael Galkin
机器之心编译
参与：李志伟、Geek AI
对知识工程的研究贯穿于全体人工智能的发展史。作为目前最为火热的先验知识组织、表征技能，知识图谱的干系事情在本届 ACL 上可谓万众瞩目。本文将先容本届 ACL 收录的一些知识图谱方向的精良事情，希望对读者们有所启示。大家好，ACL 2019 刚刚结束，我在风景如画的佛罗伦萨参加了为期一周的讲座，教程和研讨会！
在本文中，我将回顾一下知识图谱如何稳扎稳打地融入 NLP 研究社区。
ACL 2019 盛况空前，研究者们向本届大会提交了 2900 份论文，个中的 660 份论文被接管，大会共有 3000 多名注册参会者，并设有 4 个研讨会，约 400 名与会者参与到这些研讨会中（研讨会规模比一些国际打算机科学会议还大）。例如，Mihail Eric 编写了一篇关于通用 ACL 趋势的精彩文章（https://www.mihaileric.com/posts/nlp-trends-acl-2019/）。除了 BERTology，transformers 和机器翻译等热门话题之外，还涌现了新的趋势，例如对抗学习，自然措辞天生和知识图谱（KG）。我个人非常高兴看到 KG 在顶级人工智能会议上受到了如此大的推崇：在 660 中有大约 30 篇论文，这样一个大型会议霸占 5% 的比重是很不错的（好吧，ACL 不一直都是 AI 的风向标吗？）。以是，我想概括一些 KG 最具代表性的紧张的运用领域，并先容一些在 ACL 期间演示的一些非常有前景的论文。由于会议的规模太大，本文很可能遗漏了一些内容。
基于知识图谱的对话系统
传统的对话系统分为目标导向型（goal-oriented）和闲聊型（chit-chat）智能体。目标导向型的对话系统可以帮助用户完成某项任务，例如在餐厅预订餐桌或帮忙驾驶员完成车内的任务（如果你想进一步理解范例的基于 KG 的对话系统，请参阅下面的博文：https://medium.com/deeppavlov/building-a-knowledge-graph-based-dialogue-system-at-the-2nd-convai-summer-school-ec2d0aa060e5）。闲聊型智能体是用于谈天的对话系统，具有互动性，娱乐性，很吸引人。最近，你可能听说过深度学习在没有特定事情流程的情形下，构建端到端对话智能体的事情中所取得的造诣（尤其是闲聊型智能体）。然而，越来越明显的是，两种类型的智能体都必须拥有一些知识（即目标导向智能体所需领域知识，以及谈天智能体所需的更多的知识性知识）。
说到对这种技能的预期，没有比 ACL 主席周明本人阐明的更清楚了 - 在欢迎辞中，他强调了将知识图谱，推理和高下文融入到对话系统中的主要性。我还想补充一点：KG 可以提高智能体的答案的可阐明性。因此，既然大会主席都提到了基于 KG 的对话系统，那么确实该当在这个领域做一些事情，对吧？是的，这正是我们现在在「Fraunhofer IAIS Dresden」( https://www.iais.fraunhofer.de/en/institute/dresden.html ) 和「Smart Data Analytics」( http://sda.cs.uni-bonn.de/ ) 研究小组所做的事情，致力于推动工业运用以及扩大基于 KG 的会对话平台的研究视野。
研究者们在「NLP for Conversational AI」研讨会（https://sites.google.com/view/nlp4convai/）上谈论更多的细节，华盛顿大学的 Yejin Choi（https://homes.cs.washington.edu/~yejin/）提出了一种在对话中整合知识种子知识推理的方法（本文的下面也给出了干系技能细节）。亚马逊的 Ruhi Sarikaya（https://sites.google.com/site/ruhisarikaya01/home）证明了：Alexa 仍旧必须在流水线模式下部分实行，从构造化的源头（例如，图构造）中提取知识。微软研究院的 Jianfeng Gao（https://www.microsoft.com/en-us/research/people/jfgao/）阐明 Xiaoice 如何利用构造化信息进行用户参与（Xiaoice 仍旧保持谈天机器人最长对话轮次的记录）。Facebook AI 的 Moon 等人于 2019 提出了 OpenDialKG (https://www.aclweb.org/anthology/P19-1081)，这是一个全新的开放式对话 - 知识图谱并行语料库，包含 15,000 条带标签的对话，共有 91,000 多个对话回合，该语料库基于包含超过 1M 个三元组，100,000 个实体和 1,358 条关系的 Freebase 子集。该事情向着构建基于 KG 的对话系统迈出了一大步，希望 Facebook 的例子会鼓舞到其他人！
此外，作者提出了一种新颖的「DialKG Walk」架构，通过一个基于把稳力机制的图路径解码器，以一种端到真个办法利用知识图谱。
唯一令人担心的是，选用的图谱源（Freebase）自 2014 年以来就正式停用了，并且已经良久没有得到官方支持。或许，研究社区是时候转而利用维基百科数据了？
知识图谱事实的自然措辞天生
天生连贯的自然措辞话语（例如，根据构造化数据）也是一个热门的新兴话题。虽然纯粹的神经网络端到端自然措辞天生模型试图办理产生非常呆板的文本的问题，但基于构造化数据的自然措辞天生在表达自然措辞的固有构造方面面临着重大寻衅。此外，知识图谱也很难用措辞表达。例如，你可以根据一个三元组（柏林，是... 都城，德国）天生一堆不同的句子，但是当你有一组干系联的三元组时，例如（柏林，是... 都城，德国）、（2006 天下杯，由... 举办，德国）时，下面哪个选择更好呢？
「柏林是主理 2006 年天下杯的德国的都城」还是「柏林是举办 2006 年天下杯的国家的都城」？
令人惊异的是，ACL 大会上有许多关于知识图谱三元组措辞描述的事情。
首先，我想 IBM Research 组织的关于讲故事的研讨会（https://sites.google.com/view/acl-19-nlg/slides），该研讨会提出了许多寻衅以及办理三元组措辞化问题的可能方法，请务必查看幻灯片！
Logan 等人（https://www.aclweb.org/anthology/P19-1598）撰写的一篇很棒的论文和海报建议将 OpenAI GPT 等措辞模型与知识图谱嵌入结合利用。作者还提出了一个新的数据集 Linked WikiText-2（https://rloganiv.github.io/linked-wikitext-2），个中演习部分包含超过 41,000 个实体和 1,500 对关系，并用维基数据进行了标注。
除了来自 ACL 2019 的事情，在最近的 NAACL 2019 上，Moryossef 等人（https://arxiv.org/abs/1904.03396）也提出了一项非常干系的事情「Chimera」： NLG 三元组的双层模型。首先，给定一组三元组，它们以图的形式天生文本操持，保留给定三元组的组合性，对它们进行排列，并终极运行具有复制机制的范例神经机器翻译（NMT）系统来天生文本句子。本文基于 WebNLG 数据集（https://gitlab.com/shimorina/webnlg-dataset）进行模型评估，该数据集也利用了维基数据实体和谓词 ID！
基于知识图谱的繁芜问答
作为一类阅读理解任务，研究者们很喜好利用「问答系统」来追踪大型模型（如 BERT）的最新研究进展。
「基于知识图谱（KGQA）的问答旨在为用户供应一个用自然措辞提问的界面，利用他们自己的术语，通过查询 KG 得到天生的简明答案」。
我引用了 Chakraborty 等人最近揭橥的关于 KGQA 的综合研究，链接如下：https://arxiv.org/pdf/1907.09361.pdf。在 QA 任务中，KG 为用户供应可阐明的结果（实际上，图模式能/或不能在目标图中被找到）。此外，它们可以实行阅读理解系统尚无法实现的繁芜推理。ACL 2019 上有许多该领域最前辈的研究，有兴趣的读者可以去看一看。
Saha 等人（https://www.mitpressjournals.org/doi/pdf/10.1162/tacl_a_00262）在繁芜序列问答 CSQA（https://amritasaha1812.github.io/CSQA/）数据集（包括维基数据 ID）上展开了干系事情，该数据集涉及到目前 KG 领域最棘手的问题：（1）聚合（「哪些人是与宾根的希尔加德大致相同数量职业的守护神？」）。（2）验证（「这个行政领域的姊妹城镇是伊朗的 Samatice 和 Shamsi 吗？」）（3）更多组织为「基于实体和关系的共指消解」的对话。
在不该用影象单元的情形下，在大略问题上演习的方法会表现出相称差的效果，现在看来你须要某种形式化的措辞或语法来实行逻辑动作和聚合。该论文的作者提出了一种包含多少动作的语法（例如，设置交集，知识图谱嵌入查找等），强化学习利用它来推导出能够在对话环境中回答那些繁芜问题的逻辑程序。
Weber 等人（https://arxiv.org/pdf/1906.06187.pdf）连续研究神经 Prolog，这是一种将符号推理和基于句子嵌入的规则学习方法结合起来可微逻辑方法，可以直接应用于自然措辞文本，而无需将它们转换为逻辑形式，并利用 Prolog 形式的推理来回答逻辑查询。因此，一方面，该框架建立在模糊逻辑和预演习句子嵌入模型之上。在我看来，神经逻辑方法被研究社区严重低估了。这篇论文和上面提到的论文都为它们如何推断出一个特定的答案供应了非常有根据的可阐明的机制。因此，当研究者们开始追求真正的可阐明性时，我希望这个领域能得到更大的支持。
针对处理更大略的 KGQA 数据集，Xiong 等人（https://www.aclweb.org/anthology/P19-1417）提出了一种基于非完备知识图谱的 QA 方法，个中须要进行一些连接预测。而 Sydorova 等人（https://www.aclweb.org/anthology/P19-1488）在具有「图」和「文本段落」两类知识源的 TextKBQA 任务上取得了很好的效果。Yang 等人（https://www.aclweb.org/anthology/P19-1226）提出了另一种通过 KG（本例中利用的是 WordNet 和 NELL）丰富与 BERT 类似的阅读理解模型的方法。截至 2019 年 3 月，他们的 KT-NET 在 SQuAD 1.1 和 ReCoRD 上的表现优于纯粹的 MRC 系统，这证明它是一种很有前景的研究方法。
基于阅读理解的 QA 系统仍旧很火，本届 ACL 上有几个专门针对该领域的口头报告和海报会议，以是我很确定会有关于该领域的详细报告。简而言之，像 WikiHop 或 HotpotQA 这样的新数据集针对全体维基百科文章进行多跳 QA，你须要结合几篇文章中的知识来回答某一个问题。CommonsenseQA 包含来自搜索引擎日志的真实问题，因此系统须要某种知识性推理。为了从一些完备无意义的案例中区分出故意义的案例，你须要进行对抗性演习，本届 ACL 上干系的事情包括来自 Zhu 等人（https://www.aclweb.org/anthology/P19-1415）和 Wu 等人（https://www.aclweb.org/anthology/P19-1616）的论文，他们的论文证明对抗演习是有效的。
末了，为了战胜常常碰着的数据集较小的问题，Alberti 等人（https://www.aclweb.org/anthology/P19-1620），提出了一种「复述」的数据增强模式，产生高达 50M 额外问题用以演习他们的系统，并实现了 +2 到 +3 的 F1 值提升。
基于知识图谱的命名实体识别和关系链接
信息抽取是本届 ACL 最受关注的研究方向之一！
KG 在命名实体识别，实体链接，关系抽取和关系链接任务中展示出了实实在在的上风。我对付根据文本源构建知识图谱的神包办法特殊感兴趣。研究职员已经提出了许多新的数据集（利用维基数据 ID）和方法。
在本届 ACL 大会的论文中，Bosselut 等人的「COMET : Commonsense Transformers for Automatic Knowledge Graph Construction」（https://www.aclweb.org/anthology/P19-1470）是我最喜好的三篇论文之一。
本文提出了 COMET 知识 Transformer 架构，作者将 GPT-2 等措辞模型与 ATOMIC 等种子知识图谱相结合。向 COMET 输入图谱中的种子元组，COMET 可以学习到其构造和关系。另一方面，根据图表征形成措辞模型，从而天生新的节点和边并将它们添加到种子图中。更酷的是，你可以将图表示为自然文本的元组，如（小憩一会，导致，有能量）。在维基数据等大型数据集上测试这种架构将是非常有趣的。
本届 ACL 还涌现了一些用于关系抽取的新数据集和基线模型（基于维基数据实体和谓词）。Yao 和 Ye 等人（https://arxiv.org/pdf/1906.06127.pdf）提出了一个巨大的 DocRED 数据集，它由 6 个实体类型，96 个关系，2.5M 个实体（没有维基数据 ID），102,000 个文档中的 828,000 条句子组成。Trisedya 等人（https://www.aclweb.org/anthology/P19-1023）提出了一个包含 255,000 个「文本——三元组」对，280,000 个实体和 158 个谓词的 WIKI 数据集，其任务是从给定的自然措辞句子以及该数据集的基准模型构建知识图谱。此外，Chen 等人（https://www.aclweb.org/anthology/P19-1278）提出了一个关系相似性的数据集，它由 426,000 个三元组，112,000 个实体，188 种关系组成。
Zhu 等人（https://www.aclweb.org/anthology/P19-1128）在信息抽取开展了更为深入的研究。他们利用图把稳力网络在关系链接任务中得到了很好的实验结果。他们将句子中的实体和关系的组合建模为图，并利用能够识别多跳关系的多样式图神经网络（GNN）。其实验结果相较于目前最前辈的方法有显著提升！
Soares 等人（https://www.aclweb.org/anthology/P19-1279）的事情描述了一种新的关系学习方法 - 像 BERT 一样预演习一个大型模型，并通过其编码器通报句子以得到关系的抽象观点，然后针对维基数据，TACRED 或 DBpedia 等特定模式调优，从而得到具有相应 ID 的实际谓词。这种方法很故意义，常日基于 KG 的信息抽取方法是针对特定的本体而定制的，以是当你有很多任务时，你就要建立很多本体。在这里，作者从任何模式等分离出一个关系，并许可提取你可能希望包含在你自己的模式中的非常通用的关系。该方法的准确率相较于之前的方法有本色性的提升（尤其是在零样本和小样本任务中），因此你可以在演习数据非常有限的情形下利用它。
在实体链接方面，Logeswaran 等人（https://www.aclweb.org/anthology/P19-1335）提出利用类似 BERT 的预演习阅读理解模型，从而泛化到到模型未见过的领域中的未见实体。为此，他们引入了领域自适应预演习（DAP）策略，以及在不可见域中进行零样本实体链接的新任务。目前，只管数据集由 Wikia 文章组成，但我认为将框架运用于可以包含多措辞标签和同义词，或定义明确的特定领域本体的知识图谱上该当没有太大的问题。
Hosseini 等人（https://www.mitpressjournals.org/doi/pdf/10.1162/tacl_a_00250）在他们的事情中，研究从自然措辞文本中直接提取关系图的问题，他们在评估的数据集上取得了显著的效果。Shaw 等人（https://www.aclweb.org/anthology/P19-1010）也做了类似的事情，他们运用图网络（比来 GNN 当然非常火）来得到实体的逻辑形式。
Wu 等人（https://www.aclweb.org/anthology/P19-1616）研究了 KG 中的关系表征，并提出一种表征适配器模型，该模型能够基于现有的 KG 嵌入泛化到非种子关系上。作者还将 SimpleQuestion（SQ）数据集调度为 SimpleQuestions-Balance（SQB），使演习/测试的数据切片中见过与未见过的谓词的分布更加平衡。
在命名实体识别（NER）方面，我想概述 Lopez 等人（https://arxiv.org/pdf/1906.02505.pdf）关于「双曲空间中的细粒度实体分类」的事情。作者利用可能涉及的实体和实体类型的二维列表（转换为具有后续图网络表征的图），构建了一个双曲嵌入空间，能够推断提及的高下文并在很大程度上指定实体类型。例如，给定一个句子「由 Agatha Christie 揭橥的小说列表......」，Agatha Christie 不仅会被归为人类，而且会被归为一个更细粒度的作家类。实际上，在 UltraFine 数据集上演习的框架可以被指定为三个级别！
在 OntoNotes 数据集上，实验结果与目前最前辈的方法相称。
KG 嵌入和图表征
大概人们会认为 NLP 会议不是理解图表征学习的最佳场所，但是放眼望去，本届 ACL 上涌现了一些非常有见地的论文，它们试图同时从架构和语义两方面编码知识图谱。
Nathani 等人（https://www.aclweb.org/anthology/P19-1466）提出了一种基于图把稳力网络（GAT）的知识图谱嵌入方法，该方法考虑到了把稳力机制中的节点和边的特色。作者采取多头把稳力架构，并重点强调对关系表征的学习。作者在四个数据集上进行了比拟基准测试（除了 WN18RR 和 FB15k-237 之外，作者还采取了 NELL-995 和 Kinship），本文提出的模型性能相对付目前最前辈的算法有显著提高。实际上，这种方法比同一天在 ACL 上提出的方法要好得多。
Bansal 等人（https://www.aclweb.org/anthology/P19-1431）提出了 A2N，这是一种具有隔壁把稳力的知识图谱嵌入技能。聚合来自邻域的可以更好地表征作者在模型评价部分展示的多跳关系。在关系预测基准测试中，A2N 的表现与 ConvE 相称或更好。然而，与上述的 Hits@N 和 MRR A2N 方法比较，本文提出的模型则轻微逊色一些。我建议作者比较一下各模型的演习韶光和内存开销！
数学预警：Xu 和 Li（https://www.aclweb.org/anthology/P19-1026）的事情与上述两个事情中有些不同，由于他们利用二面体群来建模 KG 嵌入中的关系。本文中的数学相称深奥（读者可以寻衅一下自己）。简而言之，二面体组可以对谓词的非阿贝尔身分建模（例如，parent_of o spouse_of != spouse_of o parent_of，个中 o 表示矩阵乘法）。此外，该方法能够建模谓词之间的「对称」和「互逆」关系（就像已经在高等 OWL 本体中一样）。虽然该模型在传统基准比拟测试中的表现与 ConvE 相称（由于它们紧张由阿贝尔身分构成），但作者构建了一个大量利用非阿贝尔组合的 FAMILY 数据集。这篇论文绝对值得一看，但要做好前期的数学知识储备。数学预警结束
Kutuzov 等人（https://www.aclweb.org/anthology/P19-1325）描述了一种构建图嵌入的框架，他们优化基于图的度量（如最短路径），而不是基于矢量的间隔函数，并插入了自定义节点相似度函数，如 Leacock-Chodorow。虽然该方法能加快推理速率，但它不能利用节点特色和边特色，作者声称这是下一步的事情。
Stadelmeier 和 Pado（https://www.aclweb.org/anthology/W19-4816）提出了一个高下文路径模型（CPM），旨在供应传统 KG 嵌入方法之上的可阐明性层。作者建议利用两个优化评价分数：路径的改动分数以及三元组和路径之间的干系性分数，即精确旗子暗记的强度。
Wang 等人（https://arxiv.org/pdf/1810.07180.pdf）在他们的事情「On Evaluating Embedding Models for Knowledge Base Completion」中解释 KG 嵌入评估中反复涌现的问题：他们的预测在逻辑上是否同等？例如，在图中，我们可能会有类似于「Roger 不能与 David 成为朋友」（实例级别）或「人类不能由木头构成」（类级别）这样的规则，这意味着该当考虑 KG 嵌入，并降落此类陈述涌现的可能性。作者创造，现在大多数 KG 嵌入模型都会将非零概率值分配给相称不切实际的三元组。
结语
显然，越来越多的人开始对在各种 NLP 领域中运用知识图谱感兴趣。关于 KG 的各种新数据集和任务层出不穷，这很酷！
完全的 Oral 报告请拜会：http://www.acl2019.org/EN/program.xhtml。
原文链接：https://medium.com/@mgalkin/knowledge-graphs-in-natural-language-processing-acl-2019-7a14eb20fce8