关键词:
链接:https://www.zhihu.com/question/21677041/answer/185664626
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
先放结论:Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用。
一、区别:
- Hbase: Hadoop database 的简称,也就是基于Hadoop数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。
- Hive:Hive是Hadoop数据仓库,严格来说,不是数据库,主要是让开发人员能够通过SQL来计算和处理HDFS上的结构化数据,适用于离线的批量数据计算。
- 通过元数据来描述Hdfs上的结构化文本数据,通俗点来说,就是定义一张表来描述HDFS上的结构化文本,包括各列数据名称,数据类型是什么等,方便我们处理数据,当前很多SQL ON Hadoop的计算引擎均用的是hive的元数据,如Spark SQL、Impala等;
- 基于第一点,通过SQL来处理和计算HDFS的数据,Hive会将SQL翻译为Mapreduce来处理数据;
二、关系
在大数据架构中,Hive和HBase是协作关系,数据流一般如下图:
- 通过ETL工具将数据源抽取到HDFS存储;
- 通过Hive清洗、处理和计算原始数据;
- HIve清洗处理后的结果,如果是面向海量数据随机查询场景的可存入Hbase
- 数据应用从HBase查询数据;
hive与hbase的区别与联系
Hive与HBase的区别与联系二者区别Hive:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能。Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,Hive中的表纯逻辑。hive... 查看详情
Hive 与 HBase 相比如何?
】Hive与HBase相比如何?【英文标题】:HowdoesHivecomparetoHBase?【发布时间】:2010-09-0615:42:01【问题描述】:我有兴趣了解最近发布的(http://mirror.facebook.com/facebook/hive/hadoop-0.17/)Hive在性能方面与HBase的比较。Hive使用的类SQL接口比我们... 查看详情
spark访问与hbase关联的hive表
知识点1:创建关联Hbase的Hive表知识点2:Spark访问Hive知识点3:Spark访问与Hbase关联的Hive表 知识点1:创建关联Hbase的Hive表两种方式创建,内部表和外部表内部表,如果删除hive表,hbase表也会删除;不建议使用这种方式,大多数... 查看详情
hive与hbase整合(代码片段)
Hive与Hbase整合1.文档 HiveHBaseIntegration 2.拷贝jar文件2.1.把Hbase的lib目录下面的jar文件全部拷贝到Hive的lib目录下面cd/home/hbase/libcp./*/home/hive/lib 2.2.把Hive的lib目录下面的hive-hbase-handler-0.13.1.jar拷贝到Hbase的lib目录下面cp/home/hiv... 查看详情
hive与hbase
...联系作者获得授权,非商业转载请注明出处。先放结论:Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用。一、区别:Hbase:Hadoopdataba 查看详情
hbase与hive集成(代码片段)
之前有操作过HBase和Hive的案例,将30w条数据从Hive导入HBase。使用sqoop可以快速简单做到,但是在最新版HBase2.0与最新版Hive3.0之间,旧版sqoop不行,因此当时使用了JDBC来连接两者,达到数据导出的目的。HBase与Hive的对比Hive作为数据... 查看详情
hbase与hive的集成操作(代码片段)
1.介绍 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询,同时也可以将hive表中的数据映射到HBase中;2.模型概念 2.1将ETL操作的数据存入HBase 2.2HBase作为Hi... 查看详情
hive教程---整合hbase
目录6.4.1HBase与Hive的对比6.4.2HBase与Hive集成使用6.4.1HBase与Hive的对比Hive(1)数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系,以方便使用HQL去管理查询。(2)用于数据分析、清洗Hive适用于离线的数据... 查看详情
hbase(代码片段)
...===》不兼容集成,需要自己编译!!! hive1.x与hbase0.98版本兼容 hive2.x与hbase1.x版本以上兼容 hive0.x与hbase0.98以下兼容 Hive提供了与HBase的集成,使得能够在HBase表上使用hivesql语句进行查询插入操作以及... 查看详情
spark集成hbase与hive数据转换与代码练习
帮一个朋友写个样例,顺便练手啦~一直在做平台的各种事,但是代码后续还要精进啊。。。1importjava.util.Date23importorg.apache.hadoop.hbase.HBaseConfiguration4importorg.apache.hadoop.hbase.client.{Put,Scan,Result}5importorg.apache.hadoop.hbase. 查看详情
hbase与hive(代码片段)
...ataNode上,编写的HQL语句终将是转换为MapReduce代码执行。2.HBase数据库:是一种面向列族存储的非关系型数据库。用于存储结构 查看详情
hive与hbase的区别
1. 两者分别是什么? ApacheHive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功... 查看详情
hive和hbase有啥关系和区别
应该是Hadoop在hbase和Hive中的作用吧。hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储。而hbase是作为分布式数据库,而hive是作为分布式数据仓库。当然hive还是借用hadoop的MapReduce来完成一些hive中的命令的执行。而hbase... 查看详情
新闻实时分析系统hive与hbase集成进行数据分析
(一)Hive概述 (二)Hive在Hadoop生态圈中的位置 (三)Hive架构设计 (四)Hive的优点及应用场景 (五)Hive的下载和安装部署1.Hive下载Apache版本的Hive。Cloudera版本的Hive。这里选择下载Apache稳定版本apache-hive-0.1... 查看详情
hive与hbase关联表的创建,外表方式
1.在Hive里面创建一个表:hive>createtablewyp(idint, >namestring, >ageint, >telestring) >ROWFORMATDELIMITED > 查看详情
hive与hbase的区别
...。HQL是一种类SQL语言,这种语言最终被转化成Map/Reduce。HBase是基于HDFS平台的Key/Value类型的NoSql数据库,是一个分布式、可扩展、存储海量数据的数据库,并且对与null值保存不占用空间。HBase能够在数据库上实时运行,而不是运行... 查看详情
hbase框架基础
*HBase框架基础(四)上一节我们介绍了如何使用HBase搞一些MapReduce小程序,其主要作用呢是可以做一些数据清洗和分析或者导入数据的工作,这一节我们来介绍如何使用HBase与其他框架进行搭配使用。*HBase与Hive在开始HBase与Hive搭... 查看详情
hive与hbase区别
参考技术AApacheHive和ApacheHBase都是大数据中不可思议的工具。虽然它们的功能存在一些重叠,但ApacheHive和ApacheHBase都具有独特的品质,使它们更适合特定任务。一些主要区别包括:虽然这两个工具都是Hadoop的衍生产品,但它们不... 查看详情