论文题目：Dyadic Relational Graph Convolutional Networks for Skeleton-based Human Interaction Recognition

发表期刊：Pattern Recognition, 2021 (JCR Q1, CCF B, TOP)

原文链接：https://doi.org/10.1016/j.patcog.2021.107920

作者列表：

1. 朱丽萍 （中国石油大学（北京） 信息科学与工程学院）

2. 万博华 （中国石油大学（北京））

3. 李承阳 （中国石油大学（北京））

4. 田港一 （中国石油大学（北京） 信息科学与工程学院 计算机科学与技术系 研19-2）

5. 侯  沂（北京大学 数字视频编解码技术国家工程实验室）

6. 袁  焜（渥太华大学 计算机科学系）

背景与动机

双人交互行为普遍存在于日常生产生活中的各种场景，这使得双人交互行为识别在视频监控、智能安防和视频检索等多种应用领域中愈发重要。尽管图卷积网络在骨架行为识别任务中取得了很大进展，但是如何将图卷积高效地应用于双人交互行为识别尚需研究。在交互行为识别任务中，基于图卷积的行为识别模型大多都分别对单人动作进行分析，忽视了双人动作中的复杂交互特征。因此，如何有效地应用图卷积提取双人交互特征和精准地对交互行为进行识别是本文研究的主要内容。

设计与实现

在本文中，我们的目标是对于给定的双人交互骨架序列，准确识别交互动作。为了正确识别交互动作，需要解决如何有效地提取两骨架间的交互特征这一问题。为了解决该难题，我们提出了一种能够高效提取两骨架间交互特征的二元关系图卷积模块（DR-GCB），并基于该模块提出了二元关系图卷积神经网络（DR-GCN），如图1所示。

图1 二元关系图卷积神经网络结构图

首先，我们提出用于表征两骨架关节点间交互关系的关系邻接矩阵RAM，如图2所示。该RAM由两部分构成，分别为几何分量和相对注意力分量。几何分量衡量骨架关节点间的欧几里得距离，以此生成对应关系边的强度。相对注意力分量衡量分属两骨架的关节点空间特征间的余弦相似度。将两分量融合后可得到RAM。

图2 关系邻接矩阵RAM示意图

其次，我们基于该RAM设计了二元关系图卷积和二元关系图卷积模块（DR-GCB），如图3所示。二元关系图卷积模块融合了提取单人骨架空间特征的空间图卷积，将二元关系图卷积提取的交互特征于空间特征相融合。通过时序卷积将时序特征与空间和交互特征相融合。

图3 二元关系图卷积模块DR-GCB

实验结果表明DR-GCN在极具挑战性的NTU-RGB+D，NTU-RGB+D120和SBU三个数据集上均取得了SOTA的识别准确率，如表格1所示。同时，我们将二元关系图卷积模块DR-GCB与其他通用骨架行为识别方法融合后得到的2s-DRAGCN较原方法取得了大幅的提升，证明所提出RAM和二元关系图卷积模块确实能够有效地帮助模型提取交互特征，并提高双人交互行为识别准确率。

表格1 对比试验结果

作者简介：

朱丽萍：博士，计算机系副教授，硕士生导师。目前主要研究方向是大数据和数据挖掘方向，尤其关注深度学习在计算机视觉方向上的应用，已发表论文多篇高水平论文。联系方式：zhuliping@cup.edu.cn