为啥 HBase 支持的 Hive 表使用 MapReduce

     2023-04-17     297

关键词:

【中文标题】为啥 HBase 支持的 Hive 表使用 MapReduce【英文标题】:Why HBase backed Hive table uses MapReduce为什么 HBase 支持的 Hive 表使用 MapReduce 【发布时间】:2017-09-23 01:11:56 【问题描述】:

我在我的项目中使用 Hbase 支持的 Hive 表,但我们选择 Hbase 支持的 Hive 的原因是执行更新。

除此之外,Hbase 支持的 Hive 表还有哪些其他优势。因为它在从 Hive 查询时仍然使用 MapReduce。 即使我们需要少量数据,并且由于表格很大,也需要时间来给出结果。

但是,如果我们在 Hbase shell 上执行带范围扫描或仅在 Hbase 中获取,则结果会在几分之一秒内出现。那么使用 Hbase 支持的 Hive 表除了更新(现在在 HIVE 中也可以使用)和简化 SQL 之外还有哪些其他优势。

如果 Hbase 支持,HIVE 如何评估和运行查询? 为什么它使用 MapReduce 扫描并给出结果而不是更快的 Hbase 引擎? Hbase 是否有自己的引擎来执行扫描、获取操作以从其 HFiles 中获取数据???

【问题讨论】:

【参考方案1】:

我会建议你不要使用 Hbase 支持的 Hive。 如您所见,使用过滤器的扫描在 hive 查询运行的时间摩擦中运行。 那是因为Hbase在存储级别过滤数据,然后hive加载所有表数据然后过滤。 假设有从 hive 到 Hbase 的谓词下推,但有很多未解决的问题。并且很多谓词下推是禁用的。 更多内容可以查看页面:Hive HBase Integration

【讨论】:

谢谢,但这不是我要找的

为啥在创建表时出现“需要 Hive 支持”错误?

】为啥在创建表时出现“需要Hive支持”错误?【英文标题】:WhydoIgeta"Hivesupportisrequired"errorwhencreatingtable?为什么在创建表时出现“需要Hive支持”错误?【发布时间】:2017-06-0917:31:22【问题描述】:在Cloudera中使用pyspark,... 查看详情

spark访问与hbase关联的hive表

...外部表内部表,如果删除hive表,hbase表也会删除;不建议使用这种方式,大多数都是关联进行查询操作外部表,如果删除hive表,hbase表不受影响;hive使用的还是存储在hbase中的数据。这里创 查看详情

为啥 Impala 不能在 hbase 表上工作?

】为啥Impala不能在hbase表上工作?【英文标题】:WhyImpalanotworkingonhbasetable?为什么Impala不能在hbase表上工作?【发布时间】:2015-07-2008:49:04【问题描述】:我使用hive创建了hbase表A的外部表B。我可以成功访问B的数据。然后我按照官... 查看详情

hive与hbase的区别

...换为Spark/Tez等。HBase通过存储Key/Value类型数据来工作。它支持四种主要的操作:增加或者 查看详情

hadoophdfshivehbase之间的关系

...意义就是把好写的hive的sql转换为复杂难写的map-reduce程序Hbase:是一款基于HDFS的数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等Hive与HBase的区别与联系1... 查看详情

hbase和hive的差别是啥,各自适用在啥场景中

...因此不能保证处理的低迟延问题;而HBase是近实时系统,支持实时查询。5.Hive不提供row-level的更新,它适用于大量append-only数据集(如日志)的批任务处理。而基于HBase的查询,支持和row-level的更新。6.Hive提供完整的SQL实现,通常... 查看详情

impala与hive混合使用的一个深坑

...IVE中基于这个HBase画像表创建了一个外部表(portrait_hbase)以支持SQL查询。为了提高查询性能,我们将这张外部表转存成Parquet格式。这里我使用Impala的CREATETABLELIKE语法,语句如下:然后再将portrait_hbase中的数据拷贝到portrait_parquet中,... 查看详情

hbase与hive集成(代码片段)

...前有操作过HBase和Hive的案例,将30w条数据从Hive导入HBase。使用sqoop可以快速简单做到,但是在最新版HBase2.0与最新版Hive3.0之间,旧版sqoop不行,因此当时使用了JDBC来连接两者,达到数据导出的目的。HBase与Hive的对比Hive作为数据仓... 查看详情

创建指向 HBase 表的外部 Hive 表

...列族"VDS"和列名ROWKEY,ID,START_TIME,END_TIME,VALUE.我正在使用ClouderaHadoopDistr 查看详情

何时使用 Hadoop、HBase、Hive 和 Pig?

】何时使用Hadoop、HBase、Hive和Pig?【英文标题】:WhentouseHadoop,HBase,HiveandPig?【发布时间】:2012-12-0409:24:23【问题描述】:使用Hadoop或HBase或Hive有什么好处?据我了解,HBase避免使用map-reduce,并且在HDFS之上具有面向列的存储。Hive... 查看详情

hive和hbase有啥关系和区别

...上为了减少MapReducejobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。3.想象你在操作RMDB数据库,如果是全表扫描,就用Hive+Hadoop,如果是索引访问,就用HBase+Hadoop。4.Hivequery就是MapReducejobs可以从5分钟... 查看详情

利用hive-hbase表做hive表快速入库hbase功能,纬度表的查询

...秒出数据,首先表刚好也是1-1批对的情况,首先想到了利用hbase的索引机制。(表数据大概在4--30E之间)虽然网上有很多直接建立hive表,自动创建hbase表的例子,但是这种情况不能进行hbase表的region预分区,导致热点问题比较严重。所以... 查看详情

hbase可以访问hive里面的表吗

参考技术A使用hive-hbase-handler,通过在Hive中建立外部表可以映射到HBase中的表,然后在Hive中往外部表中INSERT数据,即可完成对HBase表的数据插入。你可以搜索"lxw的大数据田地"查看Hive与HBase整合的相关文章。 查看详情

无法使用 Hive 版本 1.1.0 HBase 版本 0.94.8 和 hadoop 版本 2.7.0 从 Hive 创建 Hbase 表

】无法使用Hive版本1.1.0HBase版本0.94.8和hadoop版本2.7.0从Hive创建Hbase表【英文标题】:UnabletocreateHbasetablefromhivewithHiveversion1.1.0HBaseversion0.94.8andhadoopversion2.7.0【发布时间】:2015-09-2108:02:34【问题描述】:无法从Hive版本1.1.0HBase版本0.94.... 查看详情

hbase总结(代码片段)

...切分JAVAAPITOCHBase概述Hbase是一张大表(十亿行*百万列),可以支持十亿级数据量的秒级查询.Hbase依赖于hadoopHbase实现了更高的性能,但在一定程度上牺牲了数据的一致性,(部分一致性).Hbase数据就是有版本,一条数据可以有多个版本.HBase... 查看详情

HBase Hive 集成 - 错误

...ror【发布时间】:2015-01-2020:08:31【问题描述】:当我尝试使用Hive逻辑表将数据从HDFS加载到HBase时,我遇到了以下问题。我是hadoop新手,无法追踪错误,我正在使用CDH4VM,创建一个由Hive管理的新HBase表CREATETABLEhive_hbasetable(keyint,valu... 查看详情

HiveContext - 无法访问在 hive 中映射为外部表的 hbase 表

...【发布时间】:2017-06-2211:26:22【问题描述】:我正在尝试使用Spark中的HiveContext访问在hive中映射的hbase表。但我得到了ClassNotFoundExceptionExceptions.. 查看详情

创建hbase表&hbse表映射到hive表

...NS=>1,NAME=>\'jsonStr\',VERSIONS=>1创建一张hive表,实现将hbase表中的数据映射到该hive表中,而且当hbase表中的数据有更新时,该hive表中的数据也能够动态更新--key是hbase的rowkey,各个字段是hbase中的quailiterCREATEexternaltablehbase_table(row_... 查看详情