基于时间和上下文的对比学习的时间序列预测方法

中文题目：基于时间和上下文的对比学习的时间序列预测方法

录用/见刊时间：2022年8月15日

论文题目：The Time-sequence Prediction via Temporal and Contextual Contrastive Representation Learning

录用期刊/会议：2022 Pacific Rim International Conference on Artificial Intelligence (pricai) CCF-C类会议

作者列表：

1） 刘洋洋 中国石油大学（北京）信息科学与工程学院 控制科学与工程 研20

2） 刘建伟 中国石油大学（北京）信息科学与工程学院自动化系

背景与动机:

时间序列分类任务不同于传统的分类任务。时间序列分类的目的是对按时间顺序排列的有序序列进行分类。例如心电/脑电图信号分类、动作传感器数据分类等。近年来的研究表明，时间序列分类任务逐渐成为时间序列领域最重要的研究任务。研究者提出了许多时间序列分类模型，并取得了较好的结果。这些时间序列分类模型大都使用深度学习的方法来学习数据特征，而深度学习需要大量的带标签的数据。但在实际中，收集足够多的带标签的时间序列数据并不容易。同样，想用手工标注获得大量带标签数据也很困难。因此，在实际中我们没有足够多的带标签的时间序列数据来训练深度学习模型。

为了解决带标签的时间序列数据不足的问题，研究者提出使用自监督的隐藏表示学习方法。2021年，Elle等人提出了一种基于时间和上下文的无监督时间序列对比学习框架(TS-TCC)。TS-TCC很好的实现了对未标记时间序列数据的分类任务。此外，与之前的监督模型相比TS-TCC在时间序列分类任务上获得了更好的准确率。为了进一步提高模型的鲁棒性，我们提出了基于时间和上下文的对比学习的时间序列预测模型（PTS-TCC）。PTS-TCC模型由聚类、数据隐藏表示学习、时间隐藏表示学习以及上下文隐藏表示学习四个模块组成。与TS-TCC不同，PTS-TCC利用了聚类和informer来增强模型的鲁棒性。相较于transfomer，informer可以学习更好的临时隐藏表示。此外，我们的聚类模块将同一簇中的数据作为输入数据的正例，将其他簇中的数据作为反例，增强了模型的识别能力。

设计与实现:

PTS-TCC模型的主要组成部分及各模块的作用，模块间参数传递如下:

(1) 聚类模块。聚类模块的主要作用是对输入的时间序列进行聚类，增强模型对数据特征的学习能力，提高模型的鲁棒性。聚类模型的输入为。经过聚类模块后可以得到输出向量。

(2) 数据隐藏表示学习模块。数据隐藏表示学习模块的主要作用是增强模型对数据特征的学习能力。在这个模块中，输入向量是。应用不同数据增广策略后，我们将得到两个输出数据隐藏表示向量和。

(3) 时间隐藏表示学习模块。时间隐藏表示学习模块的主要作用是增强模型对时间序列数据依赖关系的学习能力，提高PTS-TCC的鲁棒性。在这个模块中，输入向量是和。经过时间隐藏表示学习模块处理后，得到两个输出的时间隐藏表示向量和 。

(4) 上下文隐藏表示学习模块。上下文隐藏表示学习模块的主要作用是学习更具鉴别性的隐藏表示，提高PTS-TCC的鲁棒性。在这个模块中，输入向量是和 。经过上下文隐藏表示学习模块处理后，我们会得到
和之间的相似度（如公式（1）所示）。

（1）

(5) 最小化损失函数(如式(2))。式(2)中，和为PTS-TCC的超参数，即各损失函数的权衡参数。以及不同数据增强策略的损失函数。和是不同数据增强策略的损失函数。为上下文隐含表示学习模型的损失函数。

（2）

实验结果及分析:

我们将PTS-TCC与6种时间序列学习算法学习算法进行比较，并进行了十折交叉验证。我们在三个数据集：Human Activity Recognition, Epilepsy Seizure Prediction and Sleep Stage Classification测试我们的模型。实验结果如下表所示，评价指标为平均准确率、标准偏差以及离散系数。表格中数据表明我们的模型提高了模型的准确率，同时确保了模型在不同无标记时间序列数据集中的鲁棒性。

结论:

我们提出了一种基于时间和上下文的对比学习的时间序列预测方法(PTS-TCC)，该方法适用于时间序列的分类任务。PTS-TCC由聚类模块、数据增强策略和Pro-self-attention组成。PTS-TCC的模型能够更好地学习数据特性和数据之间的依赖关系。因此，我们的模型在鲁棒性较好的基础上提高了分类准确率。实验结果表明，我们的模型总体上优于基线模型。在未来的工作中，我们将探讨对比学习在异步事件序列种的应用。

通讯作者简介:

刘建伟，副教授，博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。

联系方式：liujw@cup.edu.cn