图分析现状与探索落地

ljtyxl ljtyxl     2023-02-20     258

关键词:

导读:随着大数据的发展,复杂数据关系的分析在传统数据库上难以直观的表达复杂的拓扑关系,应运而生了针对拓扑图数据分析的数据库、图分析工具和图算法。本文主要沿以下几个方面展开分析:

  • 图分析的背景
  • 图数据库的对比分析
  • 图算法概述
  • 图分析架构的应用案例

图分析背景介绍

万物伊始自带信息,如今人类将这些信息按需求以不同形式存储在可记录、可查看、可计算的容器中,传统的数据库都是按一定类型对某类数据进行行列存储,比如不同人的年龄信息存为一列。但是这种存储结构不方便对人这个主体的所有信息进行一个具象化的描述,比如人的多层层级关系,如图是反欺诈中团伙作案的关联关系图,关联信息是在反欺诈的场景中一类非常有效的关联信息。如某用户A的ip地址为X, 某用户B的ip地址为是X, 用户A和用户B则通过ip地址为相互关联。和一般数值型的信息不同,这种关联表达的是一种结构型的信息。我们把这种关联关系用图表达出来,就构成了一张关联图谱,有时也称为社交网络。在反欺诈场景中,团伙欺诈用常规的方法比较难发现,关联图谱或者说社交网络分析是发现欺诈团伙的重要方法。

图数据分析在人与人之间、机构与机构之间、人与机构之间的应用也十分广泛,比如天眼查。

图被广泛应用于连接数据的网络结构表示。图数据可以在社交系统、生态系统、生物网络、知识图谱、信息系统等应用领域中广泛地获取。随着人工智能技术的不断渗透,图学习(即图上的机器学习)倍受关注。图学习在许多任务上是有效的,如分类、链接预测和匹配。一般来说,图学习方法利用机器学习算法来提取图的相关特征。

图的结构与计算

图谱本质上是一种语义网络,是一种基于图的数据结构,由(Vertex)和边(Edge)组成图(Graph),往用G=(Vertex,Edge)表示,按数学表述为G=(V,E,A,X) ,其中 V=v1,v2……,vn 是节点集合,E=e_ij 表示边的集合,A 是大小为|V|×|V|的邻接矩阵,用于表示节点之间的连接关系,如果 e_ij∈E,则 A_ij=1,X 是大小为|V|×d 的特征矩阵,X 的第 i 行 X_i:表示第 i 个节点的属性特征,其中 d 是属性的维度在现实生活中顶点V被定义为实体,有可能是某个公司、某个人,而边E则表示人与人,机构与机构的一种关系。并且顶点和边都是可以带属性P的,比如,社交网络中异常的账号可能有色情、赌博等标签。账号可以有注册时长的属性,所属用户年龄属性等。而好友关系的边则可以有好友建立时间点的属性。点边均只有一种类型的图称为同构图,比如转账网络中只有号一种点类型,并且只有转账关系这一种边类型,因此转账网络为同构图。除了同构图之外的图均为异构图。如微信支付的交易网络中,用户账号间的交易既可以转账,也可以是红包或者面对面,因此支付交易网络的边不仅有一种类型,微信支付的交易网络是异构图。

三元组的知识库组成的结构

  • 域domain:类型的集合,是对某一领域所有类型的抽象
  • 类型type:具有相同特点或属性实体集合的抽象
  • 关系relation:实体与实体之间的抽象
  • 实体entity:对客观个体的抽象
  • 属性property:是对实体与实体之间关系的抽象
  • 值value:用来描述实体的,可分为文本型和数值型

图结构存储分析的缺点:

  • 比较依赖大量的结构化数据:知识图谱需要依赖一个庞大的数据网,根据用户的信息,通过实体信息,找到一个最接近用户需要的信息,推荐给用户。
  • 依赖实体识别的准确性:实体识别的准确性是最后能否解决用户问题的基础。
  • 构建知识库遍历的逻辑:如何构建清晰的遍历逻辑,能快速搜索到需要的信息。
  • 实体的歧义性问题:相同实体可能在不同的场景下,意思会不一样,如何能消除实体的的歧义性问题,也是图谱构建过程中需要重视的环节。

构建三元组结构图谱的优点:

  • 通过自助的推理机制,可以推导新的实体之间的关系,通过新实体的关系,可以让机器学习更多的实体关系,丰富知识图谱的架构。
  • 三元组的结构路径,更容易让人和机器理解,超过三元组的路径,机器学习的逻辑会更复杂,也更容易把相关的数据混淆。

。。。。。。

后续请看分享的有道地址

文档:图分析现状与探索落地.note
链接:http://note.youdao.com/noteshare?id=8b9a52b9492b6e6fbb7abef3dbf10226&sub=D37CE65391BF4AF3BEFD38BCE42CA829

图分析现状与探索落地

导读:随着大数据的发展,复杂数据关系的分析在传统数据库上难以直观的表达复杂的拓扑关系,应运而生了针对拓扑图数据分析的数据库、图分析工具和图算法。本文主要沿以下几个方面展开分析:图分析的背... 查看详情

软件工程人才需求现状与发展现状分析

...要对于所学专业,其在社会上的发展趋势和人才需求进行分析。以此来拓宽立体化我们的专业素养,对我们的人生目 查看详情

第三章数据探索

...特殊字符(#,¥,*)的数据。2.异常值也称离群点,异常值分析也称离群点分析。简单统计量分析:最常用的统计量是最大值和最小值。(如客户年龄最大值199,存在异常)3σ原则:如果数据服从正态分布,在3σ原则下,测定值中... 查看详情

态势感知的支撑和价值落地

...在2010年我们通过一个仪表盘的方式,观测我们后端样本分析自动化流水线的时候,可以给工程师更好的视觉感受和运维效率。当我们尝 查看详情

容器云平台在传统企业落地的一些思考和探索

 本文内容是我今天在一个云原生论坛上演讲的材料,加上一些备注,现在分享给大家。   从应用的承载和部署方式这一角度看,一共经历了传统的物理机架构、虚拟化架构、和现在的容器化三种架构。但是,容器... 查看详情

软件工程人才的社会需求现状与发展分析

第二组Tsia 刘栩菁(组长)2018013072  汇总上传 胡志怡2018012150 资料搜集 杨芳凝2018013194 技术指导  尧舜孜       2018012189 资料搜集 姚远   查看详情

cs与bs架构区别比较及现状与趋势分析

转自 http://www.cnblogs.com/engeng/articles/5976292.html   一、简介    CS即Client/Server(客户机/服务器)结构,C/S结构在技术上很成熟,它的主要特点是交互性强、具有安全的存取模式、网络通信量低、响应速度快... 查看详情

人工智能软件的分析与验证-ai软件的可靠性与落地方法

人工智能软件的分析与验证(1)-AI软件的可靠性与落地方法随着深度学习革命的不断发展,AI算法驱动的软件产品越来越影响我们的生活。比如人脸识别、机器翻译等应用越来越广泛,技术也在像纵深方向发展,比如像... 查看详情

物联网现状及落地难点(代码片段)

大家好,我是叶帆科技的创始人兼CEO,刘洪峰,非常高兴能和阿里云MVP项目组成员一起来制作《MVP时间》内容,帮助物联网企业开发者了解物联网接入难点及解决方案。下面简单做个自我介绍:1、1995年开始做软件开发,主要是C... 查看详情

企业的数据存储处理与分析之道

12月30日,SelectDB携手阿里云共同举办云数仓专场沙龙,在线上沙龙中,来自SelectDB和阿里云的四位云计算领域专家,深入数仓的发展现状和未来趋势,结合企业级的真实场景落地案例,对技术和产品进行了... 查看详情

智慧安防智能化管理系统的应用现状分析

经过多年发展,安防制造行业早已形成了完善的全产业链和平稳的市场竞争布局,AI的融入,不但能让安防整个系统获得史无前例的提高,也让制造行业特性获得拓宽,当今的安防早已不再是以前封闭式的制造行业,愈来愈多的... 查看详情

android业务组件化之现状分析与探讨

前言:   从个人经历来说的话,从事APP开发这么多年来,所接触的APP的体积变得越来越大,业务的也变得越来越复杂,总来来说只有一句话:这是一个APP臃肿的时代!所以为了告别APP臃肿的时代,让我们进入一个U盘... 查看详情

数据价值深度挖掘,分析服务上线“探索”能力

近日,华为分析服务6.9.0版本发布,正式上线探索能力。开发者可自由定义与配置分析模型,支持报告实时预览,数据洞察体验更加灵活与便捷。新上线的探索能力中,有漏斗分析、事件归因、会话路径分析三... 查看详情

企业内部报修现状分析与解决方案(代码片段)

目前,通过走访调查,企业内部报修平台尚不完善,还是采取传统行业死板的呼叫网管等报修,存在很多问题。存在如下弊端:为进一步改善报修方式,青鸟报修系统诞生,已为3000多家企业解决报修存在的问题,提高了企业报... 查看详情

一文读懂devops的本质及行业现状与趋势

一文读懂DevOps的本质及行业现状与趋势导读:GIAC大会期间,来自杰蛙(JFrog)的技术专家刘永强分享了《数据驱动DevOps落地实践》,就此机会,前青云研发总监杨锦涛代表高可用架构对刘永强老师进行了访谈。让我们大家一起看... 查看详情

机器学习之数据探索——数据特征分析(分布分析)

数据特征分析与数据质量分析一道构成数据探索的两方面工作,在前文中介绍过关于数据质量分析的概况,本文将对数据特征分析作简介,并着重于分布分析的角度,相比于数据质量分析,数据特征分析更注重于找寻数据间的关... 查看详情

1分钟系列-kibana简介与数据探索

...数据浏览查看索引数据,如下图:Kibana是一款开源的数据分析和可视化平台,它是ElasticStack成员之一,设计用于和Elasticsearch协作。可以使用Kibana对Elasticsearch索引中的数据进行搜索、查看、交互操作。可以很方便的利用图表、表... 查看详情

知识图谱业务落地技术推荐之图数据库汇总

0.图数据库排名链接:https://db-engines.com/en/ranking/graph+dbms0.1简要分析(各种图数据库属性)Neo4j(主流)历史悠久且 查看详情