时间注意力进化图卷积网络

中文题目：时间注意力进化图卷积网络

论文题目：Temporal Attention Evolutional Graph Convolutional Network

录用会议：2023 IEEE International Conference on Technology Management, Operations and Decisions (EI)

作者列表：

1）赵新龙 中国石油大学（北京）信息科学与工程学院/人工智能学院 计算机科学与技术系 本科19

2）张丽英 中国石油大学（北京）信息科学与工程学院/人工智能学院 软件工程系

3）张   岩 中国石油大学（北京）信息科学与工程学院/人工智能学院 软件工程系

文章简介:

时间注意力进化图卷积网络（TAEGCN）模型结合了因果时间卷积和多头自注意力机制，有效地学习节点的时间特征，并利用这些时间特征来构建图结构，能够准确地捕捉数据中隐藏的空间依赖性和时间因果关系，实现多元时间序列更优预测。在两个公共数据集的实验结果显示，TAEGCN在其在多元时间序列预测领域的应用潜力和优越性能。

摘要:

多元时间序列预测通过历史数据预测未来状态来辅助决策。每个数据节点为多维度的序列且不同节点的数据之间相互影响，可表示为图结构。现有方法假设图结构是静态的，但现实中许多图结构是动态的。为此提出了TAEGCN模型，结合因果时间卷积和多头自注意力机制来学习节点的时间特征和图结构，更好捕获数据中隐藏的空间依赖性和时间因果关系，实现高性能的端到端预测。在两个公共数据集上的实验结果表明了该模型的优越性能。

背景与动机:

多元时间序列预测是通过历史数据来预测观测点未来的趋势变化，辅助决策的制定，因此建立高效且精准的多元时间序列预测模型一直是重要研究课题之一。

实际问题场景中不同观测点之间并不是孤立存在的，它们之间存在着空间结构关系且相互影响，作用于观测点的多变量的趋势变化，且通过空间结构的相互影响会随着时间而动态发生变化。为解决时间特征输入输出长度的一致性问题，和节点间的图结构随时间变化的问题，本文构建了一种新的捕获数据中隐藏的空间依赖性和时间因果关系的TAEGCN模型。

设计与实现:

TAEGCN模型由若干个时空层，一个输出层和一个全连接层构成，每个时空层包括因果时间多头自注意力模块CTMSA，可进化图学习器EGL和图卷积神经网络GCN, 如图1所示。

图1 TAEGCN架构图

CTMSA模块是基于多头自注意力机制提出的膨胀时间卷积模型，如图2所示。它由两个残差神经网络构成，并结合多头自注意力机制和LayerNorm归一化方法。保证多步预测的同时兼顾长短步长的时间特征和有序获得时间特征。

图2 CTMSA模型

EGL是一种进化的图结构学习器，如图3所示。它以递归方式构造一系列邻接矩阵，提取变量之间的动态相关性，实现更精确地捕获数据中隐藏的空间依赖确立更准确的图结构。

图3 EGL结构图

TAEGCN创造性地结合了时间维度和空间维度的特征，通过CTMSA和EGL模块，有效提取时间维度和空间维度的特征。

实验结果及分析:

选用两个公共数据集进行试验，基准模型选取了五个模型，实验结果如表1所示。

表1 性能对比表

为进一步测试TAEGCN的预测性能，从METR-LA数据集的207个监测点中随机抽样选择了四个在Graph-WaveNet和TAEGCN的预测结果与真实值之间的比较，将时间序列预测值可视化。图4（a）是Graph-WaveNet的时间序列预测结果，图5（b）是TAEGCN的结果。

图4 Graph-WaveNet和TAEGCN的预测结果对比图

为了验证关键部件的有效性，对METR-LA数据集的预测在30分钟和60分钟时间长度上进行了消融研究。实验结果如表2所示。

表2 消融实验结果表

结论:

论文提出了一种新的多元时间序列预测模型TAEGCN，其中的可进化图学习器（EGL）能根据该时间段的节点依赖关系来学习不同时间段的图结构，TMSA学习不同元的时间序列特征。对真实世界数据集的实验证明了 TAEGCN 相对于基线模型的优越性。消融实验则进一步证明了模型各部分对预测性能的贡献。

作者简介:

张丽英，讲师，中国石油大学（北京）信息科学与工程学院/人工智能学院硕士导师。主要研究方向：机器学习、时空数据挖掘。主持并参与国家自然基金、校级基金和校外开放基金、中石油勘探开发课题10多项。发表论文7余篇，其中被SCI、EI检索4篇。教学工作主持教育部产学合作协同育人项目、校级核心课程/重点教改项目等10多项，出版教材两部。

联系方式：

lyzhang1980@cup.edu.cn