文本信息增强的小样本关系抽取

中文题目：文本信息增强的小样本关系抽取

论文题目：Contextual Information Augmented Few-Shot Relation Extraction

录用期刊/会议：International Conference on Knowledge Science, Engineering and Management (CCF C类)

原文DOI：https://doi.org/10.1007/978-3-031-40283-8_13

原文链接：https://link.springer.com/chapter/10.1007/978-3-031-40283-8_13

录用/见刊时间：2023年8月18日

封面图片：

封面摘要：

本论文由王智广老师团队完成，被收录在KSEM 2023会议上。

作者列表：

1）王天 中国石油大学（北京）信息科学与工程学院 计算机科学与技术专业 硕 21

2）王智广 中国石油大学（北京）信息科学与工程学院 计算机系教师

3）王荣亮 中国石油大学（北京）信息科学与工程学院 计算机科学与技术专业 硕 21

4）刘大伟 中国石油勘探开发研究院 高级工程师

5）鲁强 中国石油大学（北京）信息科学与工程学院 计算机系教师

摘要:

小样本关系抽取（Few-Shot Relation Extraction，FSRE）是一种在极少量已标注样本的基础上进行的关系抽取任务。近些年的一些研究介绍了在原型网络上使用句子信息进行的关系抽取的方法。但是，大多数方法并没有对句子信息有足够的重视。为了更好地利用句子信息进行小样本关系抽取的研究，我们提出了一种基于大量关系信息的句子增强方法，并将新生成的句子用于小样本关系抽取中。同时，我们考虑到目前小样本关系抽取的设定过于理想，我们在每个任务中增加了一个“None of Above”类型作为一个新类型，以加强模型对相似关系的分类能力。在数据集FewRel上的实验结果表明，我们的方法在三种小样本关系抽取任务上都取得了最好的效果。

背景与动机:

关系抽取是自然语言处理的基础任务，其目的是抽取句子中给定实体之间的关系。然而，关系抽取面临着缺乏高质量样本数据的挑战，这就导致了在标注数据上的人力时间消耗和关系抽取模型泛化性差的问题。近年来，为了解决高质量数据稀缺的问题，小样本关系抽取任务（FSRE）已成为关系抽取领域的热门研究课题。大量实验证明，文本语境是影响关系抽取准确性的主要因素。但是在近些年的相关研究中，研究人员对文本句子信息的重视程度不够，仅将其作为获取实体信息的媒介或者组成最终原型表示的一部分。但是在文本句子信息中，有些单词中蕴含着有效的关系信息，其可以对关系抽取结果有很大影响。与此同时，文本句子中的无用单词也在影响着关系抽取的结果。因此，使用文本句子信息辅助进行关系抽取是小样本关系抽取任务的一种重要方式。

主要内容:

基于关系信息的句子增强

本文使用关系信息对小样本关系抽取任务中的句子进行数据增强，具体流程见图1。首先给定支持集中的句子，获取其中的头实体和尾实体信息。然后在外部知识中查询实体对之间关系类型的相关信息，如近义词，解释信息等获取十分方便的数据，并与关系类型本身融合得到关系信息集合。将实体信息和关系信息进行拼接，得到基于关系信息的新句子样本组成的句子集合。最后我们将所有句子集合组合得到最终的支持集。

图1. 基于关系信息的数据增强方法

严格来说，通过上述方法得到的新句子并不是”正确“的句子，例如对于句子"However, in 1992, then-owner Aamulehti sold Pohjalainen to Ilkka."，其头实体和尾实体分别是"Pohjalainen"和"Ilkka"，关系是"owned by"，通过上述方法得到的新句子"Pohjalainen owned by Ilkka."在语法上是错误的，缺少动词"is"，但是人类在大量阅读的前提下是完全可以理解其表达含义的。为了使得到的新句子不出现严重的语法错误，我们在实体和关系信息之间增加"[MASK]"来替代实体和关系之间的连接单词，这样得到的新句子就好像是由一个正确完整的句子通过使用"[MASK]"遮挡了除实体和关系信息之外的词汇而得到的句子。同时为了使句子的结构统一并保持句子的较高的信息含量（实际有意义的单词占句子总词汇的比例），我们使用一个"[MASK]"来替代实体和关系信息之间的连接词。最后以此作为新句子的句式结构。

但是对于查询集中的句子来说，该方法无法使用。

关系原型表示

关系原型表示的获取与句子关系抽取流程见图2。本节详细介绍关系原型表示的获取，即图2的浅灰色框部分。

图2.关系原型表示的获取与关系抽取

首先使用上述文本数据增强方法得到新的句子集合，然后使用句子编码器得到相应的句子编码，抽取出其中的实体信息表示，加权平均得到最终的句子信息原型表示和实体信息原型表示。本文采用一种直接相加的方法得到支持据句子最终的关系表示。

但是对于查询集来说，在一次小样本关系抽取任务中，其句子数量确定，即只有一个句子。因此本文直接使用实体信息表示作为最终的关系原型表示。

损失函数

在N-way-K-shot FSRE 中，每次都有N种关系，而且默认查询集中的句子关系在这N种关系中。这样的任务假设过于理想化，因为在实际关系抽取任务中，还存在查询集中的句子关系不在这N种关系中的情况。为了使我们的方法具有较强的泛化性，本文在N-way-K-shot任务的基础上增加了一个未知关系“None of Above”作为第N+1种关系，同时为了增加模型对于相似关系的区分度，我们从之前已有的N种关系种派生出第N+1种关系并得到其原型表示：

在增加了第N+1种关系后，本文对交叉熵损失函数进行了修改，以适应新增的第N+1种关系：

是交叉熵损失函数，p是实际结果，q是预测结果数组。

最终的损失函数如下：

实验结果及分析:

表1. 实验结果

在数据集FewRel上进行相关实验，并且与其他模型相比较，相关实验结果见表1。相关数据为在FewRel验证集和测试集上的结果。为了简化表头，用“N-w-K-s”来替换“N-way-K-shot”.实验结果以”验证集/测试集“形式展示，分别表示在验证集和测试集上的测试结果准确率，单位是百分比。没有数据表示结果未知。加粗表示我们的实验中的最好结果。从结果中可以得出本文的方法在

-way-1-shot、5-way-5-shot和10-way-1-shot上都取得了最好成绩，而仅在10-way-5-shot上的验证集上取得最好结果。

结论:

在本文中，我们提出了一种基于关系信息的句子增强方法，通过使用该方法，可以快速有效地生成一系列句子结构相同且无用信息较少的高质量句子样本。同时我们在原型网络的基础上，通过使用实体信息和句子信息直接相加的方法获取关系的原型表示并将其用于FSRE。最后考虑到现有

-way-

-shot的任务设定过于理想，我们在

-way-

-shot的基础上增加了“None of Above”作为第

种关系，并修改了损失函数以适应这种修改。实验表明，我们的方法在三种小样本关系抽取任务上都取得了最好的效果。

通讯作者简介:

王智广，男，博士，教授，博士生导师，北京市教学名师。中国计算机学会（CCF）高级会员，全国高校实验室工作研究会信息技术专家指导委员会委员，全国高校计算机专业（本科）实验教材与实验室环境开发专家委员会委员，北京市计算机教育研究会常务理事。长期从事分布式并行计算、三维可视化、计算机视觉、知识图谱方面的研究工作，主持或承担国家重大科技专项子任务、国家重点研发计划子课题、国家自然科学基金、北京市教委科研课题、北京市重点实验室课题、地方政府委托课题以及企业委托课题20余项，在国内外重要学术会议和期刊上合作发表学术论文70余篇，培养了100余名硕士博士研究生。