前言
随着互联网技术与大数据的蓬勃发展,现实世界的数据不仅规模增长极快,而且数据间往往具有复杂的联系。网络(图)是表达这种复杂联系的重要数据载体,有效地感知、挖掘、分析、利用这些网络数据,对相关产业的发展起到了巨大的推动和促进作用。近年来,图神经网络作为一种新型的网络数据分析挖掘工具,虽然在理论、方法和应用方面已经取得了一系列重要进展,但其仍然面临着深度加深模型退化和监督信息过度依赖的挑战。面对深度加深模型退化挑战下的“节点邻域混杂”和“全局结构信息缺失”问题、监督信息过度依赖挑战下的“自监督信息缺失且包含噪声”和“节点自监督信息贡献不做区分”问题,本书从深入挖掘图数据中蕴含的丰富且重要的信息入手,利用信息增强的手段创新性地开展了图神经网络学习方法的研究,具体内容如下:
(1)针对图神经网络在节点聚合过程中面临的节点邻域混杂的问题,提出了一种基于混合阶的图神经网络模型。在该模型中,为了反映节点的不同近邻关系,首先构建了不同阶的邻接矩阵。通过在每个特定阶邻接矩阵上构造浅层的图神经网络来获得基于各种近邻关系的节点表示,从而缓解堆叠多个消息传递层导致的模型退化和浅层图神经网络表达受限的问题;其次设计了一个结合未标记节点伪标记的负相关学习集成模块,以融合在不同阶邻接矩阵上学到的表示。实验结果表明,通过增强不同阶近邻信息和伪标记信息,所提出的基于混合阶的图神经网络模型精细地刻画了不同阶近邻的表示,进而提升了模型的预测精度。
(2)针对图神经网络在节点交互过程中面临的全局结构信息缺失的问题,提出了一种基于拓扑结构自适应的图神经网络模型。该模型的核心是通过去除一定数量的类间边以减轻不同类节点的交互,从而达到缓解模型退化的目的。在该模型中,首先根据图拓扑的全局结构定义了网络中边的强度(该边强度在很大程度上反映了类间和类内边的分布);其次根据该边强度,从原始图中移除一定比例强度较高的边以获得一个新的图结构,进而进行图神经网络的训练。实验结果表明,通过增强全局结构信息,该模型在不同类型网络数据的节点分类任务上均优于已有的图神经网络学习方法。
(3)针对自监督信息缺失且包含噪声的问题,提出了一种图结构与节点属性联合学习的变分图自编码器模型。在该模型中,首先基于变分自编码器框架,在解码阶段重构了图结构信息和节点属性信息,以便充分地利用这两种互补的图自监督信息;其次基于图信号处理,设计了新的图编码器和解码器,从而缓解传统方法固有的噪声问题。实验结果表明,通过增强图结构和节点属性自监督信息,该模型在节点聚类、链接预测和可视化的实验中均获得了更优的性能。
(4)针对节点自监督信息贡献不做区分的问题,提出了一种基于注意力机制图对比学习模型。该模型使用注意力机制自适应地为图对比项中的每个节点分配不同的权重。模型通过最小化训练损失获取模型参数、通过最小化元数据损失优化节点加权函数的参数,两个优化过程交替迭代进行,从而获得更具代表性的节点表示。实验结果表明,通过增强节点自监督信息的区分性,该模型的分类精度较节点等权重的图对比模型有了显著的提升,同时与其他代表性的图对比学习方法相比能够获得更优的结果。
总之,本书针对图神经网络面临的深度加深模型退化与监督信息过度依赖的挑战,利用信息增强的手段,结合负相关学习、复杂网络的中心性度量、变分自编码器、注意力机制、双层优化等技术,提出了一系列图神经网络学习方法,为图数据的分析挖掘提供了一些重要的研究成果,丰富和发展了图神经网络学习与方法体系,在以网络数据为载体的多种场景中具有广泛的应用前景。
由于著者水平有限,书中不足之处在所难免,恳请广大读者评判指正。