关键词：
背景
目标：适用不同结构的图的模型
图卷积
- 基于谱的方法 ：
- 这些方法学习得到的filters基于拉普拉斯特征基，而拉普拉斯特征基又基于图结构，所以在特定结构上训练的模型不能直接应用到具有不同结构的图。
- 代表：GCN
- 不基于谱的方法 ：
- 直接在图上定义卷积 (对空间上近邻的群体使用)，但是很难定义能够同时作用于不同数量领域并且保持CNNs权重共享特性的方法
- 代表：graphsage
注意力机制：可以处理可变大小的输入，专注于输入中最相关的部分来做出决定
- 可以跨节点邻居对并行计算，非常高效
- 可以通过为邻居指定任意权重来适用于具有不同度的图节点
- 适用于inductive学习方法
所以作者提出了基于注意力机制的方法来完成节点分类任务。其基本思想为：通过关注节点的邻居并遵循self-attention策略来计算图中每个节点的隐藏表征。
GAT架构
输入： h = h 1 ⃗ , h 2 ⃗ , . . . , h N ⃗ , h i ⃗ ∈ R F h = \\ \\vech_1, \\vech_2, ..., \\vech_N \\, \\vech_i \\in \\R ^F h=h1,h2,...,hN,hi∈RF
输出： h ′ = h 1 ′ ⃗ , h 2 ′ ⃗ , . . . , h N ′ ⃗ , h i ′ ⃗ ∈ R F ′ h' = \\ \\vech_1', \\vech_2', ..., \\vech_N' \\, \\vech_i' \\in \\R ^F' h′=h1′,h2′,...,hN′,hi′∈RF′
- N ：节点数
- F ：节点特征数
注意力系数 (attention coefficients) 代表节点 j 的特征对节点 i 的重要程度，其计算公式为：
e i j = a ( W h i ⃗ , W h j ⃗ ) e_ij = a (W \\vech_i, W \\vech_j ) eij=a(Whi,Whj)
- a : 一个共享的注意力机制 R F ′ × R F ′ → R \\R ^F' \\times \\R ^F' \\rightarrow \\R RF′×RF′→R
- W : 权重矩阵 W ∈ R F ′ × F W \\in \\R ^F' \\times F W∈RF′×F
标准化注意力系数：
α i j = s o f t m a x j ( e i j ) = e x p ( e i j ) ∑ k ∈ N i e x p ( e i k ) \\alpha _ij = softmax_j(e_ij)=\\fracexp(e_ij)\\sum _k \\in \\mathcalN _i exp(e_ik) αij=softmaxj(eij)=∑k∈Niexp(eik)exp(eij)
计算下一层特征：
h ⃗ i ′ = σ ( ∑ j ∈ N i α i j W h ⃗ j ) \\vech_i' = \\sigma (\\sum_j\\in \\mathcalN_i \\alpha _ij W \\vech_j ) hi′=σ(j∈Ni∑αijWhj)
使用multi-head attention来让学习过程更稳定：
h ⃗ i ′ = ∥ k = 1 K σ ( ∑ j ∈ N i α i j k W k h ⃗ j ) \\vech_i' = \\parallel _k=1^K \\sigma (\\sum_j\\in \\mathcalN_i \\alpha _ij^k W ^k\\vech_j ) hi′=∥k=1Kσ(j∈Ni∑αijkWkhj)
- ∣ ∣ || ∣∣ : 表示连接操作
- α i j k \\alpha _ij^k αijk : 表示由第k个注意力机制 a k a^k ak 计算的标准化注意力机制系数
- W k W^k Wk : 相应输入线性变化的权重矩阵
-
h
′
h'
h′ 会有
K
F
′
K F'
查看详情
李宏毅机器学习|图神经网络graphnerualnetworks(gnn)|学习笔记-part1
...Diffusion-ConvolutionNeuralNetwork)MoNET(MixtureModelNetworks)GraphSageGAT(GraphAttentionNetworks)GIN(GraphIsomorphismNetwork)前言最近看的论文里面主要是就是图神经网络GraphNerualNetworks，然后就来学习下李宏毅机器学习中的图神经网络的内容，记个... 查看详情
论文泛读deeplearning论文合集
【论文泛读】DeepLearning论文合集文章目录【论文泛读】DeepLearning论文合集BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShiftImageNetClassificationwithDeepConvolutionalNeuralNetworksVeryDeepConvo 查看详情
论文泛读deeplearning论文合集
【论文泛读】DeepLearning论文合集文章目录【论文泛读】DeepLearning论文合集BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShiftImageNetClassificationwithDeepConvolutionalNeuralNetworksVeryDeepConvo 查看详情
文案——论文——毕业论文
201804072130/ =====================================1毕业论文规划毕业时写论文都有这样的问题：如何选题目？如何找资料？怎么定最后的选题？如何开始/开头着手写论文？怎么才能算是优秀论文？以上也算是开始毕设的思路... 查看详情
根据研究论文题目分类研究论文
】根据研究论文题目分类研究论文【英文标题】：Researchpapersclassificationonthebasisoftitleoftheresearchpaper【发布时间】：2014-04-2722:06:15【问题描述】：亲爱的，我正在从事一个项目，我必须使用论文标题将研究论文分类到相应的领域。... 查看详情
我组论文获得acl2022最佳论文奖！
大家好，我是对白。近日NLP组一篇论文获得了ACL2022BestDemoPaperAward。该奖项是ACL系列会议对SystemDemonstration论文授予的最佳系统论文奖，每届会议评选出一篇获奖论文，由审稿人提名，领域主席根据系统贡献度、完成度以及影响力... 查看详情
cvpr2021论文合集下载论文大全下载论文分类汇总
1.CVPR2021接受论文&代码解读&PPT(持续更新中，敬请关注)论文合集下载：百度网盘：https://pan.baidu.com/s/1caJ8PKQizDYt1TInEVBjSg提取码：uuro下载链接和提取码已更新（2021-03-02）分类目录：检测图像目标检... 查看详情
论文的组成部分都有哪些？
论文一般由题名、作者、摘要、关键词、正文、参考文献和附录等部分组成，其中部分组成（例如附录）可有可无。古典文学常见论文一词，谓交谈辞章或交流思想。当代，论文常用来指进行各个学术领域的研究和描述学术研究... 查看详情
论文的一般格式
论文的一般格式论文的一般格式。国家为统一论文的撰写和编辑的格式，以便利信息的收集、存储、处理加工、检索利用、交流和传播，实行了国家标准GB7713-87，规定了科技报告、学位学术论文的编写格式。标准明确规定：论文... 查看详情
每日随笔毕业论文答辩⑤(提问不会的应对方法|突出工作量|常见的答辩提问|选题依据|创新点|论文结构|研究方法|论文可行性|论文不足)
...突出工作量三、常见的答辩提问1、选题依据2、创新点3、论文结构4、研究方法5、证明论文可行性6、论文的不足一、提问不会的应对方法在答辩时,答辩老师一般不会将注意力放在你的答辩陈述上,而是专心看你的论文;答辩是否通... 查看详情
每日随笔毕业论文答辩⑤(提问不会的应对方法|突出工作量|常见的答辩提问|选题依据|创新点|论文结构|研究方法|论文可行性|论文不足)
...突出工作量三、常见的答辩提问1、选题依据2、创新点3、论文结构4、研究方法5、证明论文可行性6、论文的不足一、提问不会的应对方法在答辩时,答辩老师一般不会将注意力放在你的答辩陈述上,而是专心看你的论文;答辩是否通... 查看详情
好的学术论文具都有哪些特点
参考技术A 学术论文使学生发现自己的长处和短处，以便在今后的工作中有针对性地克服缺点，下面我给大家分享一些好的学术论文的特点，大家快来跟我一起欣赏吧。 好的学术论文具有的特点 以医学学术论文为例... 查看详情
目标检测相关论文和代码资源汇总(代码片段)
目标检测相关论文和代码资源汇总文章目录目标检测相关论文和代码资源汇总2014～2019模型汇总（红色为推荐必读篇）：Performancetable性能表2014论文及代码2015论文及代码2016论文及代码2017论文及代码2018论文及代码20... 查看详情
2018年研究生数学建模优秀论文汇总
...跳台跳水体型校正系数的建模分析 论文1 论文2 论文3 论文4 论文5 论文6 B题： 光传送网建模与价值评估 论文1 &nbs... 查看详情
查询论文引用次数及格式和相似论文的方法
目录查看引用的次数下载论文引用的格式查询引用和相似论文一、查看引用的次数微软学术：https://academic.microsoft.com/home 如下图所示：可以看到本文被引用的次数和明细： 二、下载论文引用的格式Dblp:https://dblp.uni-trier.de/ 三... 查看详情
英语文章会有会议论文吗?
1会有会议论文2因为会议论文是一种学术交流形式，可以让研究者们分享自己的研究成果和想法，从而促进学术进步和合作。在英语文章中，会议论文是一种重要的学术论文类型。3会议论文的写作要求和格式与其他论文类型有所... 查看详情
[论文阅读]darts
[论文阅读]DARTS[论文阅读]DARTS 查看详情