关键词：
图是一种数据结构，它对一组对象（节点）及其关系（边）进行建模。近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，GNN 最近已成为一种广泛应用的图分析方法。
GNN 的第一个动机源于卷积神经网络（CNN）。CNN 的广泛应用带来了机器学习领域的突破并开启了深度学习的新时代。然而 CNN 只能在规则的 Euclidean 数据上运行，如图像（2 维网格）和文本（1 维序列）。如何将 CNN 应用于图结构这一非欧几里德空间，成为 GNN 模型重点解决的问题。
▲ 图1. 左：图像（欧几里得空间） 右：图（非欧几里德空间）
GNN 的另一个动机来自图嵌入（Graph Embedding），它学习图中节点、边或子图的低维向量空间表示。DeepWalk、LINE、SDNE 等方法在网络表示学习领域取得了很大的成功。然而，这些方法在计算上较为复杂并且在大规模上的图上并不是最优的，GNN 旨在解决这些问题。
这篇文章对图神经网络进行了广泛的总结，并做出了以下贡献：
-
文章详细介绍了图神经网络的经典模型。主要包括其原始模型，不同的变体和几个通用框架。
-
文章将图神经网络的应用系统地归类为结构化场景、非结构化场景和其他场景中，并介绍了不同场景中的主要应用。
-
本文为未来的研究提出四个未解决的问题。文章对每个问题进行了详细分析，并提出未来的研究方向。
模型
在模型这一部分中，文章首先介绍了最经典的图神经网络模型 GNN，具体阐述了 GNN 的模型与计算方式，然而 GNN 模型仍然存在一定的限制，比如较高的计算复杂度以及表示能力不足等等。
后续的很多工作致力于解决 GNN 存在的种种问题，在 2.2 一节中文章详细介绍了 GNN 的不同变体。具体来说，文章分别介绍了适应于不同图类型、采用不同的信息传递方式以及采用了不同的训练方法的变体。
▲ 图2. 不同的GNN变体
在 2.2.1 节中，文章介绍了处理不同图类型的 GNN 变体，包括有向图、异质图和具有边信息的图。在 2.2.2 节中，文章对于采用不同信息传递方式的变体进行了总结与概括。主要分为以下四个类别：
卷积。Graph Convolutional Network（GCN）希望将卷积操作应用在图结构数据上，主要分为Spectral Method和Spatial Method（Non-spectral Method）两类。Spectral Method希望使用谱分解的方法，应用图的拉普拉斯矩阵分解进行节点的信息收集。Spatial Method直接使用图的拓扑结构，根据图的邻居信息进行信息收集。
注意力机制。Graph Attention Network 致力于将注意力机制应用在图中的信息收集阶段。
门机制。这些变体将门机制应用于节点更新阶段。Gated graph neural network 将 GRU 机制应用于节点更新。很多工作致力于将 LSTM 应用于不同类型的图上，根据具体情境的不同，可以分为 Tree LSTM、Graph LSTM 和 Sentence LSTM 等。
残差连接。注意到堆叠多层图神经网络可能引起信息平滑的问题，很多工作将残差机制应用于图神经网络中，文中介绍了 Highway GNN 和 Jump Knowledge Network 两种不同的处理方式。
文章还对于不同的信息传递方式进行了公式化总结。简单来说，信息传递函数主要包括信息收集（agggregation）和节点信息更新（update）两个部分，在表格中列出了每种方法的不同配置。
▲ 表1. 采用不同消息传递函数的GNN变体总结
在 2.2.3 节中，文章介绍了 GNN 的不同训练方法。譬如 GraphSAGE 从附近的邻居收集信息，并且能够应用于 inductive learning 领域；FastGCN 使用了 importance sampling 的方法，使用采样替代使用节点所有的邻居信息，加快了训练过程。
在 2.3 节中，文章介绍了近年来文献中提出的图神经网络通用框架 MPNN（Message Passing Neural Network）、NLNN（Non-local Neural Network）以及 Deepmind 的 GN（Graph Network）。
MPNN 将模型总结为信息传递阶段和节点更新阶段，概括了多种图神经网络和图卷积神经网络方法。NLNN 总结了很多种基于自注意力机制的方法。GN 提出了更加通用的模型，能够总结概括几乎所有文中提到的框架，并且拥有更加灵活的表示能力、易于配置的块内结构以及易于组合的多模块架构。
▲ 图3. GN Block组合成复杂网络结构应用
GNN 被应用在众多的领域，文章具体将应用分为了结构化场景、非结构化场景以及其他三个类别。
在结构化场景中，GNN 被广泛应用在社交网络、推荐系统、物理系统、化学分子预测、知识图谱等领域。文章中主要介绍了其在物理、化学、生物和知识图谱中的部分应用。在非结构领域，文章主要介绍了在图像和文本中的应用。在其他领域，文章介绍了图生成模型以及使用 GNN 来解决组合优化问题的场景。
▲ 图4. GNN的应用示例
▲ 表2. 文章介绍的应用总结开放问题
文章最后提出了图神经网络领域的四个开放问题：
1. 浅层结构。经验上使用更多参数的神经网络能够得到更好的实验效果，然而堆叠多层的 GNN 却会产生 over-smoothing 的问题。具体来说，堆叠层数越多，节点考虑的邻居个数也会越多，导致最终所有节点的表示会趋向于一致。
2. 动态图。目前大部分方法关注于在静态图上的处理，对于如何处理节点信息和边信息随着时间步动态变化的图仍是一个开放问题。
3. 非结构化场景。虽然很多工作应用于非结构化的场景（比如文本），然而并没有通用的方法用于处理非结构化的数据。
4. 扩展性。虽然已经有一些方法尝试解决这个问题，将图神经网络的方法应用于大规模数据上仍然是一个开放性问题。
收藏|最新《图神经网络》综述论文35页pdf209篇文献
...术分享，如有侵权，联系删除转载于：专知图神经网络一直是业界关注的热点之一。最近来自印度国家理工学院的学者发布了《图神经网络》综述论文.摘要在过去十年左右的时间里，我们见证了深度学习让机器学... 查看详情
收藏|最新《图神经网络》综述论文35页pdf209篇文献
...术分享，如有侵权，联系删除转载于：专知图神经网络一直是业界关注的热点之一。最近来自印度国家理工学院的学者发布了《图神经网络》综述论文.摘要在过去十年左右的时间里，我们见证了深度学习让机器学... 查看详情
a.特定领域知识图谱知识推理方案：知识图谱推理算法综述[五]-geniepath会自动过滤多度“邻居“的图神经网络算法。
...述[三]（基于语义的匹配模型：张量分解模型RESCAL、ComplEx神经网络SEM，NAM），OpenKE工具包。A.特定领域知识图谱知识推理方案：知识图谱推理算法综述[四]（基于图传播的模型：node2vec、GCN、Graphsage、GeniePath等）算法汇总和应用场... 查看详情
从单张图重建三维人体模型综述
...fromaSingleImageviaVolumetricRegression》本文提出使用端到端卷积神经网络通过体积回归直接重建人体的三维几何结构。所提出的方法不需要拟合形状模型，并且可以从各种输入类型（无论是标记点、图像还是分割模板）进行训练。此外... 查看详情
清华最新《图神经网络推荐系统》综述，阐述gnn：阶段场景目标和应用
...是当今互联网上最重要的信息服务之一。近年来，图神经网络已成为推荐系统的新技术。在这个调研中，我们对基于图神经网络的推荐系统的文献进行了全面的回顾。我们首先介绍了推 查看详情
清华最新《图神经网络推荐系统》综述，阐述gnn：阶段场景目标和应用
...是当今互联网上最重要的信息服务之一。近年来，图神经网络已成为推荐系统的新技术。在这个调研中，我们对基于图神经网络的推荐系统的文献进行了全面的回顾。我们首先介绍了推 查看详情
论文笔记acomprehensivesurveyongraphneuralnetworks(gnn综述)
...分类：在本篇文章中，作者总结了目前主要的图神经网络模型，并提出了一种新的分类方法将目前的图神经网络分为以下四种：循环图神经网络（RecGNN），卷积图神经网络(ConvGNN)，图自动编码器(GAE)... 查看详情
最新《网络表示学习》综述论文
点上方人工智能算法与Python大数据获取更多干货在右上方 ··· 设为星标 ★，第一时间获取资源仅做学术分享，如有侵权，联系删除转载于：专知摘要网络表示学习(NRL)促进了传统的社交网络、知识图以及复杂... 查看详情
论文笔记acomprehensivesurveyongraphneuralnetworks(gnn综述)
...法的研究。在本篇文章中，作者总结了目前主要的图神经网络模型，并提出了一种新的分类方法将目前的图神经网络分为以下四种& 查看详情
图嵌入--综述
...在学习Embedding相关的知识的时候看到了一篇关于图嵌入的综述，觉得写的不错便把文章中的一部分翻译了出来。因自身水平有限，文中难免存在一些纰漏，欢迎发现的知友在评论区中指正。目录一、图嵌入概述二、图... 查看详情
最新深度学习综述手册
...示，该手册共计20个章节，包含了监督学习、深度神经网络、卷积神经网络、残差网络、无监督学习、图神经网络、生成对抗网络、Transformers、强化学习等诸多基础知识和最新的神经网络模型，非常适合相关从业者或... 查看详情
综述|最新双曲深度神经网络综述论文
...深度表征学习得到了迅速的发展。本文将其称为双曲深度神经网络。这样的双曲线神经结构可能会导致模型非常紧凑，比欧几里德空间中的对应模型具有更多的物理解释性。为了促进今后的研究，本文对有关双曲深度神... 查看详情
深度强化学习的组合优化[1]综述阅读笔记
...近似方法（3）深度学习方法3.文章架构一、概述1.神经网络（1）Hopfield网络（2）指针网络Ptr-Net（3）图神经网络3.深度强化学习DRL（1）端到端方法（2）改进传统方法二、原理1.PointerNet... 查看详情
语义分割综述阅读——understandingdeeplearningtechniquesforimagesegmentation
...器学习社区已经被大量基于深度学习的方法所淹没。卷积神经网络、递归神经网络、对抗神经网络、自编码等多种深部神经网络正有效地解决无约束环境下目标的检测、定位、识别和分割等具有挑战性的计算机视觉任务。在对目... 查看详情
图嵌入--综述
...在学习Embedding相关的知识的时候看到了一篇关于图嵌入的综述，觉得写的不错便把文章中的一部分翻译了出来。因自身水平有限，文中难免存在一些纰漏，欢迎发现的知友在评论区中指正。目录一、图嵌入概述二、图... 查看详情
zz清华nlp图神经网络gnn论文分门别类，16大应用200+篇论文最新推荐
【清华NLP】图神经网络GNN论文分门别类，16大应用200+篇论文最新推荐图神经网络研究成为当前深度学习领域的热点。最近，清华大学NLP课题组JieZhou,GanquCui,ZhengyanZhangandYushiBai同学对GNN相关的综述论文、模型与应用进行了综述，并... 查看详情
a.特定领域知识图谱知识推理方案：知识图谱推理算法综述[四]（基于图传播的模型：node2vecgcngraphsagegeniepath等）算法汇总和应用场景归纳(代码片段)
...述[三]（基于语义的匹配模型：张量分解模型RESCAL、ComplEx神经网络SEM，NAM），OpenKE工具包。A.特定领域知识图谱知识推理方案：知识图谱推理算法综述[四]（基于图传播的模型：node2vec、GCN、Graphsage、GeniePath等）算法汇总和应用场... 查看详情
图神经网络gnn学习路径(代码片段)
...点。1.DL库及数据集1.1GNN通用DL库pyg和dgl是比较火的两个图神经网络仓库。但是用起来也有缺陷，比如使用比较流行的图数据集很方便，但是如果要自定义数据集，那就要对其数据集构建风格足够了解。因此对要使用新... 查看详情