面向知识图谱的图嵌入学习进展

人工智能博士 人工智能博士     2023-02-04     801

关键词:

点上方人工智能算法与Python大数据获取更多干货

在右上方 ··· 设为星标 ★,第一时间获取资源

仅做学术分享,如有侵权,联系删除

转载于 :专知

知识图谱是一种用网络结构存储知识的知识库,在知识图谱中,单条知识被表示成三元组的形式,即(头实体,关系,尾实体).得力于知识图谱在各个领域的广泛应用,面向知识图谱的图嵌入学习也得到越来越多研究人员的关注.面向知识图谱的图嵌入学习任务旨在为图谱中的实体与关系学习低维且稠密的向量,通过图嵌入向量表达实体与关系的语义信息以及度量实体之间、关系之间、实体与关系之间的语义联系,已有许多研究证明图嵌入模型在下游任务中的有效性.近年来,越来越多研究人员开始关注知识图谱的图嵌入学习,并取得大量的研究成果,本文尝试将图嵌入算法分成了基于转移思想、基于张量分解、基于传统深度学习模型、基于图神经网络以及融入额外信息的图嵌入学习共五大类,梳理、介绍各类图嵌入算法的设计思路、算法特征以及优缺点,以帮助指导初步接触该领域的研究人员快速学习了解该研究领域的相关模型和算法.

http://jos.org.cn/jos/article/abstract/6426

近年来,随着互联网、物联网等技术的不断发展,以及其他研究领域的需求发展,各类应用应运而生,也相应 地产生了海量的数据资源.其中,图数据作为一种能够广泛建模诸多场景的数据类型,吸引了大量且深入的相关 研究,如社交网络、蛋白质网络、知识图谱等领域.其中,知识图谱作为一种异质图网络,将知识表示成三元组的形式(头实体,关系,尾实体),知识中的实体(即头实体与尾实体)表示成图的节点,知识中的关系表示成图的连边, 利用网络化结构更加直观地表征与存储知识. 面向知识图谱的学习任务主要包含知识图谱的构建与维护,以及基于知识图谱的下游任务,如基于知识图 谱的问答系统[1]、基于知识图谱的信息抽取[1]任务等.其中,无论是属于面向知识图谱的知识补全、实体对齐、 关系抽取任务还是其他基于知识图谱的下游任务,都能够基于知识图谱的图嵌入表示解决问题.因此,伴随着知 识图谱研究热度的上升,面向知识图谱的表示学习也得到越来越多的关注. 面向知识图谱的表示学习,又称为知识图谱的图嵌入学习,旨在将知识图谱的实体与关系映射到低维且稠 密的向量或矩阵,相比于 one-hot 向量,图嵌入对存储要求更低,且更加能够反映实体、关系的语义信息,以及实 体之间、关系之间、实体与关系之间的语义联系.除此以外,相较于传统的图学习算法,如基于规则学习的知识 推理算法[3][4]、基于本体推理的知识推理算法[5][6] ,图嵌入学习具有较低的计算复杂性,并且得利于并行运算能 力与框架的发展,图嵌入学习的计算效率得以不断提升.

相比于其他领域的图嵌入学习,例如面向无向图的图嵌入学习,面向社交网络、蛋白质结构等异质图的图 嵌入学习任务,知识图谱因为自身的数据特点使得在图嵌入学习方面与其它类型的异质图有所差异.首先,常见 的异质图包含的关系类别很少,如 DBLP 网络只包含论文-作者、论文-会议和论文-题目用词三种关系类 别,IMDB 网络只包含电影-演员、电影-导演两种关系,极少的关系类别使得这类异质图学习更长、更丰富的上 下文模式更加方便.基于元路径(meta-path)和元图(meta-graph)的图嵌入学习方法是两种异质图表示学习的常 见路线[7] ,元路径和元图可以视为需要专家人工制定的子图模式.而极少的关系类别也使得人工构建元路径和 元图在效率上成为可能,这也使得异质图基于元路径和元图的图嵌入学习方法能够得到有效发展.而知识图谱 往往具有很多关系类别,例如 FB15k-237 数据集[8]包含 237 种关系,想要人工设计元路径和元图模式则不可避免 地需要面临组合爆炸的问题;其次,对于常见的异质图,因为结构简单、实体类别较少,每个节点往往能够分配一 个特定的类别,这种节点类别信息在异质图的图嵌入学习过程中能够起到不可忽略的作用,例如 HAN 模型[9]在 聚合信息前会首先将邻居信息通过类别相关的线性变换映射到节点类别空间中.而知识图谱实体标签过于复 杂,没有显示为每个实体分配特定的类别,同时因为结构过于复杂,知识图谱的实体类别往往具有层次性,可能 实体与实体的类别本身都存在图谱内,所以想要现实表达实体的类别信息并不容易.所以,实体类别信息往往作 为一种隐式知识被利用在图嵌入学习任务中;除此以外,相比于常见的异质图,知识图谱的节点(即实体)往往具 有较为丰富的文本信息,如实体名称、实体描述,这些文本信息能够配合知识图谱本身的图结构信息一起更好 地学习实体的语义信息.综上所述,知识图谱虽然作为一种异质图,但因为自身的一系列特点,使得面向知识图 谱的图嵌入学习在学习思路、可利用的信息等方面与其它类型的异质图有较大差异,丰富的文本信息和复杂多 变的网络结构使得面向知识图谱的图嵌入学习增加了更多的挑战和研究空间. 为此,本文梳理了面向知识图谱的图嵌入学习算法的不同设计思想,并对相应方法进行了总结.具体来说, 本文首先给出图嵌入学习的任务描述以及相关符号定义,然后按照设计思路、信息利用程度的不同将图嵌入学 习方法分成如下五种类别:基于转移思想的图嵌入算法、基于矩阵/张量分解的图嵌入算法、基于传统深度学 习的图嵌入算法、基于图神经网络的图嵌入算法以及融入额外信息的图嵌入算法;最后,本文总结了以上不同 类别图嵌入的特征与优缺点,以及部分有待深入研究的问题.

相较于现有的研究进展报告[10][11] ,本文主要通过分析之前模型的不足来梳理和介绍当前的研究进展,这样 有利于从问题出发有的放矢地介绍不同领域方法的发展脉络和不同研究成果的出发点和优缺点,方便读者的 理解;而且相较于[10][11]的工作,本文将基于 GNN 的图嵌入模型从基于深度学习模型的图嵌入算法中抽取出 来单独列为一类,一方面是为了结合了近阶段图神经网络模型的快速发展趋势,另一方面是考虑到基于 GNN 的 图嵌入模型从编码思想上与其他几类方法有较大的差异,其主要利用 GNN 模型较为强大的图结构编码能力, 因此有必要单独列为一类,所以本文在基于 GNN 模型的图嵌入方法上介绍也会较多;除此以外,本文还额外介 绍了使用额外信息的一系列图嵌入算法,如基于文本信息、路径信息等,为面向知识图谱的图嵌入算法的后续 研究介绍更多可思考和研究的方向;最后,本文列举了面向知识图谱的图嵌入学习的部分难点和有待解决的问题。

---------♥---------

声明:本内容来源网络,版权属于原作者

图片来源网络,不代表本公众号立场。如有侵权,联系删除

AI博士私人微信,还有少量空位

如何画出漂亮的深度学习模型图?

如何画出漂亮的神经网络图?

一文读懂深度学习中的各种卷积

点个在看支持一下吧

[论文阅读笔记54]面向实体对齐的多视图知识图谱嵌入方法

1.题目Multi-viewKnowledgeGraphEmbeddingforEntityAlignment面向实体对齐的多视图知识图谱嵌入方法论文:https://arxiv.org/pdf/1906.02390.pdf代码:https://github.com/nju-websoft/MultiKE2.研究背景研究的问题:知识图(KGs)之间基于嵌入 查看详情

知识图谱研究进展

转载【http://www.jiqizhixin.com/article/2510】本文首先简要回顾知识图谱的历史,探讨知识图谱研究的意义。其次,介绍知识图谱构建的关键技术,包括实体关系识别技术、知识融合技术、实体链接技术和知识推理技术等。... 查看详情

a.特定领域知识图谱知识推理方案:知识图谱推理算法综述[五]-geniepath会自动过滤多度“邻居“的图神经网络算法。

推荐参考文章:A.特定领域知识图谱知识推理方案:知识图谱推理算法综述[一](基于距离的翻译模型:TransE、TransH、TransR、TransH、TransA、RotatE)A.特定领域知识图谱知识推理方案:知识图谱推理算法综述[二](DTransE/PairRE:基于表... 查看详情

知识图谱研究进展

在原文《知识图谱研究进展》基础上上做了相应的调整和补充本文首先简要回顾知识图谱的历史,探讨知识图谱研究的意义。其次,介绍知识图谱构建的关键技术,包括实体关系识别技术、知识融合技术、实体链接技术和知识推... 查看详情

b.特定领域知识图谱知识推理方案[二]:基于自监督图谱表征算法升级[特征交叉邻居采样修正生成学习对比学习等]

推荐参考文章:A.特定领域知识图谱知识推理方案:知识图谱推理算法综述[一](基于距离的翻译模型:TransE、TransH、TransR、TransH、TransA、RotatE)A.特定领域知识图谱知识推理方案:知识图谱推理算法综述[二](DTransE/PairRE:基于表... 查看详情

2021最新《知识图谱进展》教程

点上方人工智能算法与Python大数据获取更多干货在右上方 ··· 设为星标 ★,第一时间获取资源仅做学术分享,如有侵权,联系删除转载于:专知VLDB会议全称InternationalConferenceonVeryLargeDateBases,是数据库领域... 查看详情

2021最新《知识图谱进展》教程

点上方人工智能算法与Python大数据获取更多干货在右上方 ··· 设为星标 ★,第一时间获取资源仅做学术分享,如有侵权,联系删除转载于:专知VLDB会议全称InternationalConferenceonVeryLargeDateBases,是数据库领域... 查看详情

b.特定领域知识图谱知识推理方案[一]:基于表示学习的知识感知推理算法[对抗负采样logicrule,链接预测任务]在关系预测推荐场景下应用

推荐文章:推荐参考文章:A.特定领域知识图谱知识推理方案:知识图谱推理算法综述[一](基于距离的翻译模型:TransE、TransH、TransR、TransH、TransA、RotatE)A.特定领域知识图谱知识推理方案:知识图谱推理算法综述[二](DTransE/Pair... 查看详情

美团大脑百亿级知识图谱的构建及应用进展

...户和数千万商户,其背后蕴含着丰富的与日常生活相关的知识。美团知识图谱团队从2018年开始着力于图谱构建和利用知识图谱赋能业务,改善用户体验。具体来说,“美团大脑”是通过对美团业务中千万数量级的商家、十亿级... 查看详情

机器不学习:基于知识图谱推理的关系推演

对于知识图谱的关注可以分为两个方面:知识图谱的构建和基于知识图谱数据结构的应用。知识图谱的构建主要关注如何整合结构化、非结构化的数据,实现用统一的语义数据结构如三元组RDF形式的数据存储。基于知识图谱的应... 查看详情

a.特定领域知识图谱知识推理方案:知识图谱推理算法综述[二](dtranse/pairre:基于表示学习的知识图谱链接预测算法)

推荐参考文章:A.特定领域知识图谱知识推理方案:知识图谱推理算法综述[一](基于距离的翻译模型:TransE、TransH、TransR、TransH、TransA、RotatE)A.特定领域知识图谱知识推理方案:知识图谱推理算法综述[二](DTransE/PairRE:基于表... 查看详情

文稿精读|知识图谱多跳推理:几何嵌入

分享嘉宾| LanNokYat文稿整理|William嘉宾介绍Introduction知识图谱是Google在2003年提出来的,最初是用在推广搜索里,然后根据数据进行筛查,再构建起图谱。在信息检索过程中,采用图上信息检索或配置Ram。这里列举了四个基本... 查看详情

知识图谱学习笔记

知识图谱信息是指外部的客观事实。举例:这里有一瓶水,它现在是7°。知识是对外部客观规律的归纳和总结。举例:水在零度的时候会结冰。在信息的基础上,建立实体之间的联系,就能行成“知识”。《Ex... 查看详情

知识图谱学习笔记

知识图谱信息是指外部的客观事实。举例:这里有一瓶水,它现在是7°。知识是对外部客观规律的归纳和总结。举例:水在零度的时候会结冰。在信息的基础上,建立实体之间的联系,就能行成“知识”。《Ex... 查看详情

知识图谱学习笔记(代码片段)

知识图谱学习笔记第一部分,包含RDF介绍,以及JenaRDFAPI使用知识图谱的基石:RDFRDF(ResourceDescriptionFramework),即资源描述框架,其本质是一个数据模型(DataModel)。它提供了一个统一的标准,用于描述实体/资源。简单来说,就是... 查看详情

3.知识图谱相关学习资料汇总,提供系统化的知识图谱学习路径。一份详细的指南,补全你知识的漏洞

...合集评测竞赛项目案例推广技术文章1.整体概念架构随着知识图谱的发展,与之相关的概念也越来越多,在阅读论文时先准确的把握该论文所要解决问题处于的层级或者位置对于更好的理解论文也比较有帮助,在此对知识图谱的... 查看详情

时间知识图谱补全的历时嵌入

...权归原文作者及出版单位所有,如有侵权请联系删除摘要知识图谱(Knowledgegraphs,简称KGs)通常包含表示实体在不同时间之间关系的时间性质。由于它们的不完整性,已经提出了多种方法来基于现有的事实推断KG中的新事实,这... 查看详情

人工智能领域常用的开源框架和库(含机器学习/深度学习/强化学习/知识图谱/图神经网络)

...!一、机器学习常用的开源框架和库1.Scikit-learn作为专门面向机器学习的Python开源框架,Scikit-learn内部实现了多种机器学习算法,容易安装和使用 查看详情