08-gnn图机器学习之图神经网络

combfish combfish     2023-04-21     372

关键词:

图神经网络
技术图片

node embedding
回顾了之前node2vec的例子以及深度学习卷积的一些基础
浅层encoder的局限性:
参数数量O(v):节点间没有共享参数,每个节点有自己的embedding
不能表征未见过的节点
没有综合考虑节点特征
技术图片
本节学习图神经网络,多层的非线性的
技术图片
技术图片


那么,在图中,如何做卷积?
如果输入是邻接矩阵,那么模型不能适配各种规模的网络;对节点的顺序也没有敏感性
技术图片


图的深度学习基础
技术图片

技术图片
起初,对于一个图G
V:节点集合
A:邻接矩阵
X:节点的特征向量
技术图片
图卷机网络
思路:图的邻居定义计算图
信息传播→计算节点特征
技术图片


邻居聚合:局部网络邻居
intuition:节点通过神经网络,从邻居聚合信息
intuition:网络的邻居定义计算图→每个节点基于自身的邻居定义计算图
技术图片
技术图片
技术图片

深度模型:多层结构
模型可以是任意深度的:
节点在每一层都有embedding
第0层的embedding是输入特征x
第k层的embedding得到的信息是通过经过k跳的节点而得
技术图片

关键的区分在于信息通过不同的层是如何聚合的?
技术图片
基础的方法:平均+神经网络
技术图片

第0层初始化为节点的特征
公式如下
技术图片

那么如何训练模型?定义损失函数?
技术图片
模型参数
W B 
随机梯度下降,训练得到参数
技术图片

非监督的学习
相似的节点有相似的embedding
技术图片
监督学习:训练模型用于节点分类
例如,药品是否有毒
技术图片


技术图片


模型设计:
定义邻居聚合函数;定义loss函数;训练:生成节点的embedding
技术图片



技术图片

技术图片

聚合参数是所有节点共享的
因此可为未见过的节点生成embedding;甚至是为相近的全新网络生成embedding
技术图片


技术图片


技术图片


图卷积网络和GraphSAGE
技术图片

有比平均更好的聚合方法吗?
技术图片

对每一层的embedding进行L2正则化
技术图片
不相加而是拼接
技术图片

3中聚合方法:平均;池化;LSTM
技术图片
小结:
技术图片


高效的实现
通过对稀疏矩阵的操作
技术图片

更多的图卷积网络
技术图片


Graph Attention Network (GAT)
技术图片

所有节点一视同仁
技术图片

每个节点的贡献力是否可以使用权重来区分
技术图片
技术图片
技术图片
技术图片
例子:
引用网络
技术图片


应用例子
技术图片
拼趣:Pinterest采用的是瀑布流的形式展现图片内容,无需用户翻页,新的图片不断自动加载在页面底端,让用户不断的发现新的图片。
Pinterest堪称图片版的Twitter,网民可以将感兴趣的图片在Pinterest保存,其他网友可以关注,也可以转发图片。索尼等许多公司也在Pinterest建立了主页,用图片营销旗下的产品和服务。
技术图片
技术图片
技术图片
为每个节点生成一个embedding
从相邻的节点借用信息
技术图片
技术图片


给用户推荐相关的pins
技术图片
技术图片
技术图片
技术图片
技术图片
技术图片
技术图片


使用小贴士
数据预处理是非常重要的:正则化;变量规模的初始化;网络数据的清洗
训练优化器
relu可以获得较好的成效
输出层不需要激活函数
每一层需要偏置
GCN的层在64或128已经很好了,不需要过深
技术图片
模型:
在训练集上需要过拟合!!
仔细检查loss函数
仔细检查可视化
技术图片
























































来自为知笔记(Wiz)


人工智能中图神经网络gnn是什么?

...于:机器之心在社交网络分析等一些应用中,图神经网络已经得到了广泛的应用。新加坡科技研究局(A*STAR)的研究者RishabhAnand近日通过图解的方式介绍了图与图神经网络的基本概念,或许能帮助初学者更直... 查看详情

图神经网络--综述

...,用机器学习方法分析图的研究越来越受到重视。图神经网络(GNN)是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性,GNN最近已成为一种广泛应用的图分析 查看详情

pgl图学习之图神经网络graphsagegin图采样算法[系列七]

0.PGL图学习之图神经网络GraphSAGE、GIN图采样算法[系列七]本项目链接:https://aistudio.baidu.com/aistudio/projectdetail/5061984?contributionType=1相关项目参考:更多资料见主页关于图计算&图学习的基础知识概览:前置知识点学... 查看详情

10-graph-gen图机器学习之图生成模型

...依赖关系ML Basics for Graph Generation图生成的机器学习基础输入与输出:输入:G目标:学习G的分布;生成G?起初:假设我们有图的数据集xi p_data(x):数据分布,是未知的,但是我们可以抽样知道一些p_model(x;θ)... 查看详情

深度学习之概述(overview)

...度学习在互联网教育场景也得到广泛应用。本文主要介绍机器学习及深度学习之定义及基本概念、相关网络结构等。  本文主要内容包括机器学习的定义及组成分类、深度学习的定义、深度学习和机器学习的区别、神经网络基... 查看详情

pgl图学习之图神经网络erniesageunimp进阶模型[系列八](代码片段)

PGL图学习之图神经网络ERNIESage、UniMP进阶模型[系列八]原项目链接:fork一下即可:https://aistudio.baidu.com/aistudio/projectdetail/5096910?contributionType=1相关项目参考:(其余图神经网络相关项目见主页)关于图计算&图学习的基础知识概... 查看详情

pgl图学习之图神经网络erniesageunimp进阶模型[系列八](代码片段)

PGL图学习之图神经网络ERNIESage、UniMP进阶模型[系列八]原项目链接:fork一下即可:https://aistudio.baidu.com/aistudio/projectdetail/5096910?contributionType=1相关项目参考:(其余图神经网络相关项目见主页)关于图计算&... 查看详情

slam概念学习之特征图featuremaps

...特征(如点和线)的全局位置来表示环境。如图1所示,机器人的外部环境被一些列参数化的特征,即二维坐标点表示。这些静态的地标点被观测器(装有传感器的机器人)利用多目标跟踪的方法跟踪,从而估计机器人的运动。... 查看详情

02-gnp-smallworld图机器学习之最小世界

本节重点:如何衡量一个网络(网络量化)网络的关键属性:1.度的分布:P(k)2.路径长度:h3.集聚系数(clusteringcoefficient):C4.连通分量(connectedcomponents):s 1. 度的分布degreedistribution:P(k)统计每个节点的度,形成... 查看详情

11-pagerank图机器学习之pagerank

pagerank:链接分析如同图谱的网络每个网页相互链接,是一个有向图,强连通分量设计一个计算十堰,找到给定节点的输入与输出成分(?)节点:网页边:超链接次要问题:动态页面如何解决?暗网——无法直接进入的网页网... 查看详情

pgl图学习之图神经网络gnn模型gcngat[系列六](代码片段)

PGL图学习之图神经网络GNN模型GCN、GAT[系列六]项目链接:一键fork直接跑程序https://aistudio.baidu.com/aistudio/projectdetail/5054122?contributionType=10.前言-学术界业界论文发表情况ICLR2023评审情况:ICLR2023的评审结果已经正式发布ÿ... 查看详情

深度学习与图神经网络核心技术实践应用高级研修班-day3图神经网络(gnn)(代码片段)

图神经网络基础和基本思想1.图神经网络1.1图神经网络的定义和目标1.2图神经网络的思想和工作原理1.3图神经网络的应用场景2.图卷积神经网络2.1图卷积神经网络的定义2.2图卷积神经网络的卷积方式2.3卷积神经网络与图卷积神经... 查看详情

pgl图学习之基于unimp算法的论文引用网络节点分类任务[系列九](代码片段)

...法的论文引用网络节点分类任务[系列九]1.常规赛:图神经网络入门节点分类介绍(1)赛题介绍图神经网络(GraphNeuralNetwork)是一种专门处理图结构数据的神经网络,目前被广泛应用于推荐系统、金融风控... 查看详情

一个高效且友好的tensorflow图神经网络(gnn)框架:tf_geometric(代码片段)

...f0c;你所需要的所有知识都在这里了。本文定位是:图神经网络(GNN)教程,后续实战案例文章将加入《深度学习100例》tf_geometric是一个高效且友好的图神经网络库,同时支持TensorFlow1.x和2.x。受到usty1s/pytorch_geo... 查看详情

一个高效且友好的tensorflow图神经网络(gnn)框架:tf_geometric(代码片段)

...f0c;你所需要的所有知识都在这里了。本文定位是:图神经网络(GNN)教程,后续实战案例文章将加入《深度学习100例》tf_geometric是一个高效且友好的图神经网络库,同时支持TensorFlow1.x和2.x。受到usty1s/pytorch_geo... 查看详情

机器学习之logistic回归(逻辑回归)(代码片段)

目录Logistic回归博客园地址:https://www.cnblogs.com/chenyoude/git地址:https://github.com/nickcyd/machine_learning微信:a1171958281Logistic回归本章内容回归算法Logistic回归的一般过程Logistic的优缺点基于Logistic回归和Sigmoid函数的分类Sigmoid函数Logistic... 查看详情

机器学习之逻辑回归

1、逻辑回归其实可以称之为广义的线性回归,采用和线性回归类似的模型。但是逻辑回归解决的是一个分类问题,因此会对求出的y值做一个sigmod函数映射,然后根据预先设定的阈值进行标签处理。其中,使用sigmod函数将θTx映射... 查看详情

机器学习之roc曲线

机器学习之ROC曲线roc曲线全称受试者工作曲线,ROC曲线下面积就是AUC(Areaunderthecurve),AUC用来衡量二分类机器学习算法的性能,即泛化能力这里有几个概念,真阳性率,假阳性率,真阴性率,假阴性率,这四个率的产生是一个... 查看详情