面向演化流数据的在线循环概念元学习

中文题目：面向演化流数据的在线循环概念元学习

录用/见刊时间：2022年4月15日

论文题目：An Online Recurring Concept Meta-learning For Evolving Streams

录用期刊/会议：International Conference on Artificial Neural Networks (IJCNN2022) CCF-C类会议

作者列表：

1) 张思思 (中国石油大学(北京) 信息科学与工程学院 自动化系) 控制科学与工程 博17

2) 刘建伟 (中国石油大学(北京) 信息科学与工程学院 自动化系)

背景与动机:

人类的学习包括记忆过去的模式，以便随着知识的增长更好地理解反复出现的概念。然而，当机器学习的模型接受新概念的训练时，深层神经网络的先前知识可能会逐渐忘记。在本文中，我们通过学习一种能够记住先前信息并促进未来学习的一般表示来解决这个问题。在这一过程中，元学习策略引入了一个新的控制器，引导网络在先前学习的概念和新概念之间保持平衡，从而避免灾难性遗忘。在在线循环概念元学习（ORCML）中，我们提出了一种双层学习策略，强调模型级学习中不同概念漂移的隐藏表示学习，并通过全局元学习策略获得一组共享参数。通过大量的实验，我们证明了我们提出的框架比现有的方法有显著的改进。

设计与实现:

下图展示了模型级的训练过程：

提出的学习框架：

算法实现如下：

实验结果及分析:

下表显示，不同数据集上两个周期的累积精度。

结论:

在本文中，我们提出了一个新的用于在线循环概念演化数据流的元学习框架。这个ORCML算法的目的是学习一般模型，可以随着新信息的出现进行自我调整不覆盖现有学习到的知识，尤其是重复出现的概念。提出了一种双层优化策略获取通用模型以避免灾难遗忘。

通讯作者简介:

刘建伟，博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。