hive+hbase,用hql查询hbase(代码片段)

author author     2023-04-06     529

关键词:

Hive整合HBase:数据实时写Hbase,实现在Hive中用sql查询
以下操作的 Hive版本:2.3.6 ,HBase版本:2.0.4
  • 在HBase中创建表:t_hbase_stu_info

    create ‘t_hbase_stu_info‘,‘st1‘
  • 在Hive中创建外部表:t_hive_stu_info

    create external table t_hive_stu_info
    (id int,name string,age int,sex string)
    stored by ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler‘
    with serdeproperties("hbase.columns.mapping"=":key,st1:name,st1:age,st1:sex")
    tblproperties("hbase.table.name"="t_hbase_stu_info");
  • 在Hbase中给t_hbase_stu_info插入数据
    put ‘t_hbase_stu_info‘,‘1001‘,‘st1:name‘,‘zs‘
    put ‘t_hbase_stu_info‘,‘1001‘,‘st1:age‘,‘23‘
    put ‘t_hbase_stu_info‘,‘1001‘,‘st1:sex‘,‘man‘
    put ‘t_hbase_stu_info‘,‘1002‘,‘st1:name‘,‘ls‘
    put ‘t_hbase_stu_info‘,‘1002‘,‘st1:age‘,‘56‘
    put ‘t_hbase_stu_info‘,‘1002‘,‘st1:sex‘,‘woman‘
  • 查看Hbase中的数据
    scan ‘t_hbase_stu_info‘

    技术图片

  1. 查看Hive中的数据
    select * from t_hive_stu_info;

    技术图片

hbase与hive的集成操作(代码片段)

...供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询,同时也可以将hive表中的数据映射到HBase中;2.模型概念  2.1将ETL操作的数据存入HBase      2.2HBase作为Hive的数据源  ... 查看详情

hive&hbase

...Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoo... 查看详情

hive和hbase的区别

...Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoo... 查看详情

hive和hbase的区别

...Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoo... 查看详情

hive与hbase的区别

...Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hado 查看详情

hive和hbase有啥区别

...特点是仿照bigtable的列势存储,对于大型的数据的存储,查询比传统数据库有巨大的优势,而hive其产生主要应对的数据仓库问题,其将存在在hdfs上的文件目录结构映射成表。主要关注的是对数据的统计等方面。适合的场景:hbase... 查看详情

面试:hbase和hive的区别

...p;Hive是一个构建在Hadoop基础设施之上的数据仓库,通过HQL查询存放在HDFS上的数据,不能交互查询。HBase是一种Key/Value系统,它运行在HDFS之上,可以交互查询。2. Hive只是一种类SQL的引擎,运行MapReduce任务,不能更新数据。Hbase... 查看详情

浅谈hive和hbase区别

...Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce.虽然Hive提供了S 查看详情

hive教程---整合hbase

...的文件在Mysql中做了一个双射关系,以方便使用HQL去管理查询。(2)用于数据分析、清洗Hive适用于离线的数据分析和清洗,延迟较高。(3)基于HDFS、MapReduceHive存储的数据依旧在DataNode上, 查看详情

hive和hbase的区别

...Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoo... 查看详情

hive整合hbase

...供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。??应用场景2.1将ETL操作的数据存入HBase???? ???2.2HBase作为Hive的数据源?? ??2.3构建低延... 查看详情

hive与hbase的区别

...数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化成Map/Reduce。HBase是基于HDFS平台的Key/Value类型的NoSql数据库,是一个分布式、可扩展、存储海量数据的数据... 查看详情

hbase(代码片段)

...了与HBase的集成,使得能够在HBase表上使用hivesql语句进行查询插入操作以及进行Join和Union等复杂查询、同时也可以将 查看详情

hive与hbase区别

...成熟完备的产品架构,速度无法满足日常OLTP型业务。Hive查询通常也具有高延迟。由于它在Hadoop上运行批处理,因此获取查询结果可能需要几分钟甚至1小时。此外,更新数据可能既复杂又耗时。Hive不是擅长用于查询数据集(尤... 查看详情

hbase与hive集成(代码片段)

...的文件在MySQL中做了一个双射关系,以方便使用HiveQL管理查询用于数据分析、清洗,Hive适用于离线的数据分析和清洗HBase数据库,面向列族存储的非关系型数据库用于存储结构化和非结构化的数据,不适合做关联查询,join延迟较... 查看详情

如何用hive查询hbase中的数据

...se,命令:./start-hbase.sh第四步,建立关联表,这里我们要查询的表在hbase中已经存在所以,使用CREATEEXTERNALTABLE来建立,如下: 查看详情

利用hive-hbase表做hive表快速入库hbase功能,纬度表的查询

有个需求是纬度表需要秒出数据,首先表刚好也是1-1批对的情况,首先想到了利用hbase的索引机制。(表数据大概在4--30E之间)虽然网上有很多直接建立hive表,自动创建hbase表的例子,但是这种情况不能进行hbase表的region预分区,导致热... 查看详情

hbase能模糊查询吗,类似like

参考技术A本身有scan可以模糊查询,也可以关联hive,然后就可以用sql语句的like了,hive查hbase的数据底层也是通过scan来实现like查询,但是效率爆低,数据越多时间就越长 查看详情