基于过程时序数据的神经网络建模评价与质量预测

中文题目：基于过程时序数据的神经网络建模评价与质量预测

论文题目：Evaluation of neural network models and quality forecasting based on process time-series data

录用期刊/会议：The Canadian Journal of Chemical Engineering (JCR Q3)

录用/见刊时间：录用时间2023.10.16

封面图片：

封面摘要：该研究成果由王珠老师团队完成，已被CJCE(JCR Q3)收录。

作者列表：

1）王   珠 中国石油大学（北京）信息科学与工程学院 自动化系教师

2）刘来泽 中国石油大学（北京）信息科学与工程学院 控制科学与工程专业 硕21

3）董秀娟 国家管网

4）刘佳璇 中国石油大学（北京）信息科学与工程学院 控制科学与工程专业 硕23

摘要:

在工业智能背景下，对复杂工业过程进行建模具有重要意义。近年来，基于神经网络的软测量技术常用于对复杂工业过程进行建模。本文提出了一种针对复杂动态过程的神经网络建模与评价一体化框架，实现了建模、预测、评价和网络结构参数选优的一体化解决，可用于传感器噪声较大且数据时间密集的场景。框架提出的评价机制使用了两种全新的评价指标，分别是基于VAE的KL散度指标和基于最大似然估计的指标J，二者通过挖掘残差的统计特性对模型进行评价。框架使用MOb-GRU神经网络和Modified Transformer模型对动态过程进行建模。实验表明，在多种信噪比和多种噪声统计特性的场景下，评价机制均能正确工作，框架实现了良好的建模效果。

背景与动机:

随着硬件算力提升带动神经网络的发展和普及，神经网络软测量模型的发展取得了丰富的成果。模型常用的评价指标都是在衡量模型预测结果与真实值之间的数值误差，并未考虑二者统计特征的差别，考虑到残差不只由随机噪声构成，还包含模型的误差。因此，需要一种新型的评价指标，同时考虑模型预测结果与真实值之间的数值误差与二者分布间的差别，能对残差序列内部所包含的非随机误差进行分析。

设计与实现:

文章提出了基于变分自编码器（VAE）的KL散度指标和基于最大似然估计的指标J，通过挖掘残差的统计特性对模型进行评价，基于此提出了基于网格搜索的评价机制。考虑到网格搜索的庞大计算量，本文提出了一种简化Transformer模型，可降低计算量。

主要内容:

提出了一种简化的Transformer模型，将模型中的解码器替换为全连接层，降低了模型复杂度，提高了训练速度。同时通过适当的I/O设计使得动态过程的输入输出时间序列中数据的依赖性得以保留，实现了对复杂动态过程的建模与预测。简化的Transformer模型由位置编码、N层编码器以及由全连接层组成的解码器三部分组成，如图1所示。

图1 简化Transformer模型

本文采用VAE计算KL散度指标，并基于KL散度进行残差的分布性检验。从统计学意义上讲，KL散度可以用来衡量两个分布之间的差异程度。本文所研究的过程一般处于随机噪声环境，随机噪声具有一定的分布特性，如果只是将噪声导致的残差分布和标准正态分布作比较，两者之间的差异应当是最小的，但如果残差中除了噪声的影响还有模型误差的贡献，那么构成的残差分布就会更加的复杂和异样化，其离标准正态分布的差异就会更大，KL散度就会越大。因此，可以使用KL散度对模型的误差水平进行评价，KL散度越写则模型的误差越小，模型越精准。

最大似然估计(Maximum Likelihood Estimation)是机器学习中常用的一种参数估计方法，它提供了一种给定观测数据来评估模型参数的方法，常用于模型已知、参数未定的情况。其思想是对于给定的观测数据，希望能从所有的参数中找出能最大概率生成观测数据的参数作为估计结果，常用的方法是寻找使对数似然函数导数值为0的值。本节使用蒙特卡洛方法求解了参数的近似值，省去了估计的过程。性能指标J为：

基于以上内容，本文提出了一种建模评价一体化框架，框架综合了MOb-GRU神经网络、Transformer模型以及评价指标，框架流程如下：

Step1: 分析要建模的工业过程，选择MOb-GRU神经网络或Transformer模型，并确定网络结构和学习率优化算法。根据信号的噪声情况选择合适的评价指标。

Step2: 对过程的输入输出数据进行处理，包括归一化和规范化。本文使用最大最小值归一化和反归一化对数据进行处理。

Step3: 根据可能的结构参数给出结构参数矩阵。本文使用的MOb-GRU神经网络与简化Transformer模型各有3个超参数，可以方便的设计结构参数矩阵。MOb-GRU的超参数分别是前向传播单元数，反向更新单元数以及隐变量h的维度，简化Transformer模型的超参数分别是编码器中的子编码器层数，前馈网络模型的维度和多头注意力模型中头的数量。在确定网络后，分别将三个超参数的可能取值存入向量

,

和

，并由此生成结构参数矩阵

，其中

，M矩阵1至3列由

,

和

生成，最后一列存放网络的其他参数。

Step4: 使用训练集训练网络。

Step5: 训练结束后将测试集输入网络并得到预测结果，首先计算各组结构参数的网络预测结果的RMSE，对其进行编号以记录各评价指标与结构参数的对应关系。随后对RMSE按从小到大排序，取前10个最小的，依据其编号确定对应的结构参数。计算这10个结构参数的网络的评价指标，指标最小的数据对应的结构参数就是最优结构参数。

Step5: 使用最优结构参数重新对网络进行训练，并使用测试集进行预测，得预测输出，根据输出变量的范围对预测输出进行反归一化。

实验结果及分析:

本文在两种情况下进行了实验，分别是噪声统计特性单一但输出信号信噪比较小，和噪声统计特性复杂但输出信号信噪比较大的情况。

一、噪声统计特性单一但输出信号信噪比较小

本节使用基于最大似然估计的性能指标J和RMSE对神经网络进行评价。MOb-GRU与简化Transformer均能较好的拟合不带噪声的原始信号，受噪声影响较小，如图2所示。

图2 神经网络拟合情况

在进行多步预测时，MOb-GRU随预测步长的增加性能出现明显劣化，与之相比Transformer几乎不受影响。各网络的预测误差如表1所示。

表1 预测步长1-5时各神经网络的RMSE

二、噪声统计特性复杂但输出信号信噪比较大

本节使用KL散度和RMSE对神经网络进行评价。MOb-GRU与简化Transformer均能较好的拟合带噪声信号，如图3所示。此外，简化Transformer不同结构参数的KL散度差别较小，与MOb-GRU形成鲜明对比，如图4所示。得益于复杂的结构和庞大的参数量，简化Transformer对结构参数选取的依赖较小。与上一节相比，二者的预测精度均显著提高。

图3三个模型和真实数据的奇偶校验图

图4 MOb-GRU和简化Transformer的平均KL散度（误差条来源于使用相同的训练集对同一网络进行10次独立的训练）

结论:

针对KL散度指标与指标J两种不同的应用场景，本工作均进行了实验，结果表明，对于信号的信噪比较小且噪声具有单一统计特性的场景，MOb-GRU和简化 Transformer都可以实现较好的建模和预测。对于信号的信噪比大且统计特性复杂的场景，二者的建模精度都得到了显著提高。与MOb-GRU相比，简化Transformer对预测步长和结构参数选取不敏感，更适合于多步预测，在算力较低无法进行网格搜索的场景也建议使用简化Transformer。在两种噪声情况下，评估机制正确运行，选择了最佳结构参数，建模和评估的集成框架实现了对特定过程的建模、预测和模型评估。

作者简介:

王珠，男，博士，中共党员，现任中国石油大学（北京）副教授、硕士生导师。2016年至今在中国石油大学（北京）自动化系工作，现任自动化系副主任、北京人工智能学会理事、中国化工学会信息技术应用专业委员会青年委员。长期从事工业过程的动态建模与辨识、炼化装置智能控制与故障预警技术、以及深度学习与神经网络预测等方面的研究工作，以第一作者或通讯作者身份发表高水平学术论文20余篇。主持并参与国家自然科学基金多项，主持多个企业横向项目。