关键词：
点上方人工智能算法与Python大数据获取更多干货
在右上方 ··· 设为星标 ★，第一时间获取资源
仅做学术分享，如有侵权，联系删除
转载于 ：专知
作者 | 杨亚明，管子玉，李建新
赵伟，崔江涛，王泉
单位 | 西安电子科技大学
论文地址：https://www.zhuanzhi.ai/paper/c55c7aa0af69bfeee9a7499f5824f530
代码地址：https://github.com/kepsail/ie-HGCN
1. 引言
目前面向异质图的图卷积神经网络普遍存在两个重要的不足：（1）大部分已有工作依赖用户人工输入一系列任务相关的元路径（Meta-path），这对于没有专业知识的用户来说是困难的。换句话说，已有方法无法有效地、灵活地从所有可能的元路径中自动挖掘出针对某个任务的最优元路径，这阻碍了模型的有效性和可解释性；（2）大部分已有方法在执行图卷积之前都需要执行额外的、耗时的预处理操作，这显著增加了模型的时间复杂度，限制了模型的伸缩性。为了解决上述两个问题，该论文提出了高效且可解释的异质图卷积神经网络ie-HGCN，其包含了投影，对象级聚合，类型级聚合三个关键步骤。该模型可以端到端地自动评估所有可能的元路径的重要性，在粗粒度和细粒度两个层面上发现对于当前任务最优的元路径。而且，提出的两层聚合架构也可以避免额外的预处理操作，从而降低了模型的时间复杂度。论文从理论上证明了ie-HGCN自动发现元路径的能力，分析了其与谱图卷积的联系，分析了其近似线性的时间复杂度。在四个真实网络数据集上的实验结果显示，ie-HGCN不仅能够取得优越的性能，而且可以有效地发现元路径。
2. 方法
下图通过在DBLP上的一个模型实例展示了方法的基本流程。如左侧子图（a）所示，模型一共包含5层。在每一层，针对某个对象类型，都将其异质邻居的特征聚合过来（实线），同时也将其自身的上一层的特征聚合过来（虚线）。右侧子图（b）展示了针对P（Paper）类型对象的计算过程：（1）自身/邻居的特征投影；（2）利用归一化邻接矩阵聚合；（3）利用注意力聚合。
投影
考虑到在异质图里，不同类型的对象的特征通常有着不同的分布，因此在每一层，通过相关的投影矩阵把邻居特征映射到一个共同的语义空间中。同时，也将上一层输出的目标对象的自身特征也投影到这个空间：
对象级聚合
对于每种类型的邻居，通过相应的行归一化的邻接矩阵将其投影后的特征聚合起来。这里，自身的投影特征不需要执行对象级聚合。至此，形成若干个临时的特征，即：目标对象自身的投影特征，以及聚合的各种类型的邻居的投影特征。每种特征都从不同的方面反映了目标对象的特性。
类型级聚合
利用注意力机制将这些临时的特征聚合起来，从而全面地刻画目标对象的特性。首先，通过不同的参数将目标对象的自身投影特征映射为注意力的查询值和键值，也通过不同的参数将邻居的聚合特征映射为相应的键值：
然后，通过一个小型的非线性神经网络将查询与键值映射为注意力系数：
通过softmax函数将注意力系数归一化：
利用归一化的注意力系数，将若干个临时特征聚合起来，形成目标对象本层输出的新的特征：
3. 理论分析
论文从理论上证明、分析了该模型具有以下三个良好的性质：
在粗粒度和细粒度两个层面上，可以自动发现针对当前任务最优的原路径。
模型实际上是在谱域执行异质谱图卷积。
具有近似线性的时间复杂度。
4. 实验
论文在4个公开的真实数据集上与若干个先进的基线方法进行了实验比较。结果显示该模型能够取得优越的性能以及效率。最重要的是，模型可以有效地自动发现最有用的元路径，从而促进了模型的可解释性。我们考虑在DBLP数据集上对作者（A）类型的对象进行分类任务。下图展示了模型发现的针对此任务最有用的若干元路径。上方的子图（a）展示了每一层中，每个目标对象类型与邻居类型（包括自身）之间的归一化注意力系数。下方的子图（b）展示了最有用的几条元路径的重要性得分及其计算过程。其中，第二列中的符号“—”代表了自连接（如图1中的虚线所示），这表明了有些路径是可以“坍缩”的。如此，经过合并一系列等价的路径，我们可以得到任意长度的元路径（第一列）的重要性得分。
很明显，我们可以看到，元路径CPA的得分最高，而该路径的语义是：作者（A）将其论文（P）发表到了会议（C）。令人鼓舞的是，这与数据集的真实情况高度吻合。实际上，这个数据集中，作者（A）类型对象的真实类别标签（ground-truth label）就是根据作者的论文（P）所发表的会议（C）来被标记的。
其他几个得分高的元路径也可以得到合理的解释。元路径CPTPA表明除了作者自己所发表论文的会议以外，另外一些会议也很重要，这些会议里的论文和作者的论文有很多共同的关键词（T）。元路径CPAPA表明作者的共同合作者所发表论文的会议也很重要。元路径CPCPA也比较有意思，因为一篇论文通常只会被发表到一个会议，从而左侧的子路径CPC等价于子路径C，进而CPCPA也可以被解释为CPA。
图2 模型自动发现的最有用的若干元路径
---------♥---------
声明：本内容来源网络，版权属于原作者
图片来源网络，不代表本公众号立场。如有侵权，联系删除
AI博士私人微信，还有少量空位
点个在看支持一下吧
从图(graph)到图卷积(graphconvolution)：漫谈图神经网络模型
本文属于图神经网络的系列文章，文章目录如下：从图(Graph)到图卷积(GraphConvolution)：漫谈图神经网络模型(一)从图(Graph)到图卷积(GraphConvolution)：漫谈图神经网络模型(二)从图(Graph)到图卷积(GraphConvolution)：漫谈图神经网络模型(三)... 查看详情
用于交通预测的时空交互动态图卷积网络
...着时间演变而产生的隐藏动态关联。我们提出了一种基于神经网络的时空交互动态图卷积网络(STIDGCN)来解决上述交通预测 查看详情
基于图卷积网络的图深度学习
基于图卷积网络的图深度学习先简单回顾一下，深度学习到底干成功了哪些事情！深度学习近些年在语音识别，图片识别，自然语音处理等领域可谓是屡建奇功。ImageNet：是一个计算机视觉系统识别项目，是目前世界上图像识别... 查看详情
如何使用图卷积网络对图进行深度学习(代码片段)
...行深度学习的系列文章中的第一篇，GCN是一种强大的神经网络，旨在直接处理 查看详情
图卷积网络gcn
GCNCNN中的卷积本质上就是共享参数的过滤器，可以较为有效地提取空间特征而很多其他的研究中还有很多非欧拉结构的数据1.CNN无法处理非欧拉结构的数据，传统的离散卷积在NonEuclideanStructure的数据上无法保持平移不变性... 查看详情
带你换个角度理解图卷积网络
摘要：本文带大家从另一个角度来理解和认识图卷积网络的概念。本文分享自华为云社区《技术综述十二：图网络的基本概念》，原文作者：一笑倾城。基础概念笔者认为，图的核心思想是学习一个函数映射f(... 查看详情
深入浅出图神经网络|gnn原理解析☄学习笔记图信号处理与图卷积神经网络(代码片段)
深入浅出图神经网络|GNN原理解析☄学习笔记（五）图信号处理与图卷积神经网络文章目录深入浅出图神经网络|GNN原理解析☄学习笔记（五）图信号处理与图卷积神经网络矩阵乘法的三种形式图信号与图的拉普拉... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day3图神经网络（gnn）(代码片段)
图神经网络基础和基本思想1.图神经网络1.1图神经网络的定义和目标1.2图神经网络的思想和工作原理1.3图神经网络的应用场景2.图卷积神经网络2.1图卷积神经网络的定义2.2图卷积神经网络的卷积方式2.3卷积神经网络与图卷积神经... 查看详情
腾讯技术工程|腾讯ailab11篇论文精选：图像描述nmt模型图卷积神经网络等
...本的预测表现、NMT模型中的特定翻译问题、自适应图卷积神经网络、DNN面对对抗样本的优化问题等，本文精选了11篇论文的精彩内容。（本文转自公众号新智元）1.学习用于图像描述的引导解码（LearningtoGuideDecodingforImageCaptioning） 查看详情
图卷积神经网络gcn的一些理解以及dgl代码实例的一些讲解(代码片段)
...例1例2DGL中的GCN实例dgl.DGLGraph.update_all参考前言近些年图神经网络十分火热，因为图数据结构其实在我们的现实生活中更常见，例如分子结构、人的社交关系、语言结构等等。NLP中的句法树、依存树就是一种特殊的图，... 查看详情
深度学习100例|第52天-图卷积神经网络（gcn）：实现论文分类
gcn-图卷积神经网络算法简单实现（含python代码）(代码片段)
本文是就实现GCN算法模型进行的代码介绍，上一篇文章是GCN算法的原理和模型介绍。代码中用到的Cora数据集：链接：https://pan.baidu.com/s/1SbqIOtysKqHKZ7C50DM_eA 提取码：pfny 文章目录目的一、数据集介绍二、实现过程... 查看详情
gcn图卷积网络入门详解
...术A在这篇文章中，我们将仔细研究一个名为GCN的著名图神经网络。首先，我们先直观的了解一下它的工作原理，然后再深入了解它背后的数学原理。字幕组双语原文：【GCN】图卷积网络(GCN)入门详解英语原文：GraphConvolutionalNetwor... 查看详情
图卷积的演变-从谱图卷积到gcn
基础傅里叶级数是对周期为T的确定性信号做展开，而傅里叶变换将周期推广到无穷，能对具有任意长度的信号做展开。https://www.zhihu.com/question/21665935/answer/2367861632\\[\\hatf(t)=\\intf(x)\\exp^-iwtdx=\\intf(x)\\left(cos(wx)+isin(wx)\\right)dx\\]要在... 查看详情
论文笔记：semi-supervisedclassificationwithgraphconvolutionalnetworks
...方法是使用平滑正则其中L0表示图中有监督部分的lossf是神经网络，Δ=D-A表示unnormalized的拉普拉斯矩阵 这种方式假设相邻的节点有相同/相似的label——>这种平滑性假设在一定程度上限制了模型的表达能力论文中直接使... 查看详情
论文笔记：semi-supervisedclassificationwithgraphconvolutionalnetworks
...方法是使用平滑正则其中L0表示图中有监督部分的lossf是神经网络，Δ=D-A表示unnormalized的拉普拉斯矩阵 这种方式假设相邻的节点有相同/相似的label——>这种平滑性假设在一定程度上限制了模型的表达能力论文中直接使... 查看详情
图卷积神经网络(gcn)综述与实现（pytorch版)(代码片段)
图卷积神经网络(GCN)综述与实现（PyTorch版)本文的实验环境为PyTorch=1.11.0+cu113，PyG=2.0.4，相关依赖库和数据集的下载请见链接。一、图卷积神经网络介绍1.1传统图像卷积卷积神经网络中的卷积(Convolution)指的是... 查看详情
深度学习100例|第52天-图卷积神经网络（gcn）：实现论文分类(代码片段)
文章目录一、GCN是什么二、数据集-CoraDataset1.数据集介绍2.准备数据三、划分训练集、测试集和验证集四、模型训练1.Loss计算2.训练模型3.结果可视化五、同系列作品🚀我的环境：语言环境：Python3.6.5编译器：jupytern... 查看详情