论文标题: Heterogeneous Graph Gated Attention Network

发表会议: The International Joint Conference on Neural Networks (IJCNN2021) CCF-C类会议

作者列表:

1) 马   帅 中国石油大学(北京) 信息科学与工程学院 自动化系 控制科学与工程 博19

2) 刘建伟 中国石油大学(北京) 信息科学与工程学院 自动化系

3) 左   信 中国石油大学(北京) 信息科学与工程学院 自动化系

4) 李卫民 上海大学 计算机工程与科学学院 计算机科学与技术系

背景与动机:

传统的机器学习方法只能处理常规的规则有序的欧氏结构数据，但是当处理不规则无序的非欧氏结构数据时，这些方法就显得无能为力。由节点和边构成的图G=(V, E)是一种典型的非欧氏结构数据。现实中越来越多的实际问题可以抽象成图结构数据，例如生化领域，推荐系统，自然语言过程和计算机视觉等，这些问题必须放在图结构数据中才能够得到更好的解决。因此，我们需要一种新的模型来处理这种图结构数据。近年来，为了解决上述问题，无数学者不断努力探索，设计出了新的模型方法，称之为图神经网络(graph neural network, GNN),它可以完美地处理图结构数据。图卷积网络（graph convolutional neural network, GCN）是GNN的重要分支，它成功的将传统的卷积神经网络（convolutional neural network, CNN）迁移到了对图结构数据的处理上。GCN包含基于谱域的GCN和基于空间域的GCN。 基于谱域的GCN，利用频谱理论和傅里叶变换，将传统的卷积算子迁移到了图上，其中包括“第一代GCN”，CheNet和“第二代GCN”等方法。基于空间域的GCN从空间角度出发，实现对邻居节点的有效聚合，包括PATCHY-SAN，Graph-SAGE和GAT 等方法。

上述方法在处理图结构数据的任务中都表现出了良好的性能，但是它们只能处理仅包含一种类型的节点和边的同质图。现实中的许多场景都是包含不同类型的节点或边的异构图。节点或边的异质性增加了GNN处理图结构数据的难度。元路径是用于处理异构图的强大工具，每个元路径表示异构图中不同的语义信息，包含各个对象之间丰富的关系。同时，注意力机制在深度学习中取得了巨大的成功，因此许多研究者试图将其应用于异构图。一些学者已经将注意力机制用于处理异构图中，并且使用多头注意力机制来减少图结构数据的方差。但是，在异质图中，由于某些注意力头在本质上比其他注意力头更重要，将每个注意力头均等地对待是不公平的，因此我们设计了一个新的处理异质图结构的模型。

在本文中，我们提出了基于元路径的异构图门控注意力网络（heterogeneous graph gated attention network, HGGAN），这是一种用于处理异构图的神经网络模型。为了完成异构图上的学习任务，HGGAN包含节点特征空间统一，中心(center)节点-邻居(neighbor)节点聚合(C-N聚合)和元路径(metapath)-元路径聚合(M-M聚合)。首先，由于节点类型不同，节点特征向量势必会处于不同维数的向量空间中，因此我们使用变换矩阵将它们投影到相同维数的向量空间中。其次，在某个元路径内，我们采用具有注意力机制的C-N聚合，通过聚和中心节点的邻居节点特征来对其进行表示。为了减少图结构数据的差异，我们在C-N聚合中使用了多头注意力机制。在传统的多头注意力机制中，将每个注意力头均等对待。但是，在异质图中，由于某些注意力头在本质上要比其他注意力头更重要。在HGGAN中，我们在每个注意力头上设置了门控值以区分每个注意力头的贡献，门控值由卷积子网确定。最后，为了获得节点的最终矢量表示，我们设计了元路径间的M-M聚合策略，并通过注意力机制来学习不同元路径的重要性。

总而言之，我们这项工作的主要贡献如下：

(1) 我们设计了一种基于多头注意力机制的C-N聚合方法。与传统方法不同， 我们的方法在每个注意力头上设置了门控值以控制其重要性，从而确保准确合理的提取元路径内节点特征。

(2) 我们提出了一种新的基于元路径的图神经网络方法，该方法包含节点特征空间统一，C-N聚合和M-M聚合。

(3) 我们在3个真实数据集上进行了实验，以评估HGGAN的性能。 结果表明，HGGAN在对异构图的处理上要优于一些先进技术。

设计与实现:

图1 为HGGAN的结构。 HGGAN包含三个模块：(a)节点特征空间统一，它统一所有节点的特征空间；(b)C-N聚合，它聚合特定元路径内邻居节点特征(图中有三个元路径,不同颜色虚线圈)。我们使用门控多头注意力机制来聚合邻居节点特征；(c) M-M聚合，它聚合不同元路径间的节点特征以获得中心节点的最终表示。图2 为在C-N聚合中，传统多头注意力机制和门控多头注意力机制的不同。

图1 HGGAN结构

图2 (a)传统多头注意力机制, (b)门控多头注意力机制

实验结果:

在节点分类任务上，我们在3个真实数据集上和6种基准方法进行了对比。为了验证该方法的性能，我们选择了2个度量标准来衡量节点分类效果：Macro-F1 and Micro-F1。

从表1的实验结果可以清楚地看出，与其他一些先进方法相比，我们的方法具有明显的优势，验证了HGGAN可以很好的处理异质图。

Table 1. Experimental Comparison Results

作者简介：

刘建伟，副教授

博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。

联系方式：liujw@cup.edu.cn