关键词：
Hive与Hbase整合
1.文档
2.拷贝jar文件
2.1.把Hbase的lib目录下面的jar文件全部拷贝到Hive的lib目录下面
cd /home/hbase/lib cp ./* /home/hive/lib
2.2.把Hive的lib目录下面的hive-hbase-handler-0.13.1.jar拷贝到Hbase的lib目录下面
cp /home/hive/lib/hive-hbase-handler-0.13.1.jar /home/hbase/lib/
3.修改Hive/conf目录下面的配置文件
cd /home/hive/conf vi hive-site.xml <!-- Hbase zookeeper quorum --> <property> <name>hbase.zookeeper.quorum</name> <value>node1,node2,node3</value> </property>
4.在Hbase中创建表
--在Hbase中创建表 create ‘hbase_to_hive_t_user‘, ‘cf_user_info‘ hbase(main):010:0> desc ‘hbase_to_hive_t_user‘ Table hbase_to_hive_t_user is ENABLED COLUMN FAMILIES DESCRIPTION NAME => ‘cf_user_info‘, DATA_BLOCK_ENCODING => ‘NONE‘, BLOOMFILTER => ‘ROW‘, REPLICATION_S COPE => ‘0‘, VERSIONS => ‘1‘, COMPRESSION => ‘NONE‘, MIN_VERSIONS => ‘0‘, TTL => ‘FOREVER‘, KEEP_DELETED_CELLS => ‘FALSE‘, BLOCKSIZE => ‘65536‘, IN_MEMORY => ‘false‘, BLOCKCACHE => ‘ true‘ 1 row(s) in 0.0650 seconds
5.在Hbase表中插入数据
--插入数据 put ‘hbase_to_hive_t_user‘, ‘1‘, ‘cf_user_info:name‘,‘Tom‘ put ‘hbase_to_hive_t_user‘, ‘1‘, ‘cf_user_info:age‘,24 put ‘hbase_to_hive_t_user‘, ‘2‘, ‘cf_user_info:name‘,‘John‘ put ‘hbase_to_hive_t_user‘, ‘2‘, ‘cf_user_info:age‘,18 put ‘hbase_to_hive_t_user‘, ‘3‘, ‘cf_user_info:name‘,‘Steven‘ put ‘hbase_to_hive_t_user‘, ‘3‘, ‘cf_user_info:age‘,38 scan ‘hbase_to_hive_t_user‘ hbase(main):009:0> scan ‘hbase_to_hive_t_user‘ ROW COLUMN+CELL 1 column=cf_user_info:age, timestamp=1546754368046, value=24 1 column=cf_user_info:name, timestamp=1546754367972, value=Tom 2 column=cf_user_info:age, timestamp=1546754368166, value=18 2 column=cf_user_info:name, timestamp=1546754368103, value=John 3 column=cf_user_info:age, timestamp=1546754370447, value=38 3 column=cf_user_info:name, timestamp=1546754368211, value=Steven 3 row(s) in 0.1600 seconds
6.在Hive中创建数据库表关联Hbase里面的表
--如果你想要Hive去访问Hbase中已经存在的表，你可以创建外部表(CREATE EXTERNAL TABLE) CREATE EXTERNAL TABLE hive_access_hbase_table_t_user (key string, name string, age int) STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler‘ WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf_user_info:name,cf_user_info:age") TBLPROPERTIES ("hbase.table.name" = "hbase_to_hive_t_user");
6.1.在Hive中查询Hbase表里的数据
select * from hive_access_hbase_table_t_user; hive> select * from hive_access_hbase_table_t_user; OK 1 Tom 24 2 John 18 3 Steven 38 Time taken: 0.325 seconds, Fetched: 3 row(s)
7.Reference
https://blog.csdn.net/qq_33689414/article/details/80328665
https://blog.csdn.net/aaronhadoop/article/details/28398157
========================================================
More reading,and english is important.
I‘m Hongten
大哥哥大姐姐，觉得有用打赏点哦！你的支持是我最大的动力。谢谢。
Hongten博客排名在100名以内。粉丝过千。
Hongten出品，必是精品。
E | [email protected] B | http://www.cnblogs.com/hongten
========================================================
hive与hbase关系整合
近期工作用到了Hive与Hbase的关系整合，虽然从网上参考了很多的资料，但是大多数讲的都不是很细，于是决定将这块知识点好好总结一下供大家分享，共同掌握！ 本篇文章在具体介绍Hive与Hbase整合之前，先给大家用一个流程... 查看详情
hive教程---整合hbase
目录6.4.1HBase与Hive的对比6.4.2HBase与Hive集成使用6.4.1HBase与Hive的对比Hive(1)数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。(2)用于数据分析、清洗Hive适用于离线的数据... 查看详情
hbase与hive的集成操作(代码片段)
1.介绍 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到HBase中；2.模型概念 2.1将ETL操作的数据存入HBase 2.2HBase作为Hi... 查看详情
hbase(代码片段)
续接（三）3habse（1.2）集成hive（1.2.1）===》不兼容集成，需要自己编译！！！ hive1.x与hbase0.98版本兼容 hive2.x与hbase1.x版本以上兼容 hive0.x与hbase0.98以下兼容 Hive提供了与HBase的集成，使得能够在HBase表... 查看详情
hbase_hive整合
Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类首先保证版本一致cd/home/hadoop/hive-1.1.0-cdh5.5.2/lib查看版本是否一致hbase-server-1.0.0-cdh5.5.2.jar zookeeper-3.4.5-cdh5.5.... 查看详情
hbase与hive集成(代码片段)
之前有操作过HBase和Hive的案例，将30w条数据从Hive导入HBase。使用sqoop可以快速简单做到，但是在最新版HBase2.0与最新版Hive3.0之间，旧版sqoop不行，因此当时使用了JDBC来连接两者，达到数据导出的目的。HBase与Hive的对比Hive作为数据... 查看详情
hbase与hive(代码片段)
...数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。2.HBase数据库：是一种面向列族存储的非关系型数据库。用于存储结构 查看详情
hive整合hbase
...源?? ??2.3构建低延时的数据仓库 环境准备????3.1hive与hbase整合环境配置修改hive-site.xml文件，添加配置属性（zookeeper的地址）[root@hadoop01conf]#vimhive-site.xml <property> <name>hbase.zookeeper.quorum</name> <value&... 查看详情
数据湖：hive与iceberg整合(代码片段)
文章目录Hive与Iceberg整合一、开启Hive支持Iceberg1、下载iceberg-hive-runtime.jar2、配置hive-site.xml二、Hive中操作Iceberg格式表1、如果没有设置iceberg.catalog属性，默认使用HiveCatalog来加载2、如果设置了ice... 查看详情
hive+hbase，用hql查询hbase(代码片段)
Hive整合HBase：数据实时写Hbase,实现在Hive中用sql查询以下操作的Hive版本：2.3.6,HBase版本：2.0.4在HBase中创建表：t_hbase_stu_infocreate‘t_hbase_stu_info‘,‘st1‘在Hive中创建外部表：t_hive_stu_infocreateexternaltablet_hive_stu_info(idint,namestring,ageint,s... 查看详情
hadoop基础之《（11）—整合hbase+phoenix+hive—安装hive》(代码片段)
一、什么是Hive1、Hive简介Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive主要是做海量数据的分析和计算的。2、为什么会有Hive？它解决了什... 查看详情
建立hive和hbase的映射关系，通过spark将hive表中数据导入clickhouse(代码片段)
HBase+Hive+Spark+ClickHouse在HBase中建表，通过Hive与HBase建立映射关系，实现双方新增数据后彼此都可以查询到。通过spark将Hive中的数据读取到并经过处理保存到ClickHouse中一Hbase1Hbase表操作1.1创建命名空间hbase(main):008... 查看详情
spark:spark-sql读hbase
SparkSQL是指整合了Hive的spark-sqlcli,本质上就是通过Hive访问HBase表，具体就是通过hive-hbase-handler,具体配置参见：Hive(五):hive与hbase整合 目录：SparkSql访问hbase配置测试验证SparkSql访问hbase配置: 拷贝HBase的相关j... 查看详情
hbase可以访问hive里面的表吗
参考技术A使用hive-hbase-handler，通过在Hive中建立外部表可以映射到HBase中的表，然后在Hive中往外部表中INSERT数据，即可完成对HBase表的数据插入。你可以搜索"lxw的大数据田地"查看Hive与HBase整合的相关文章。 查看详情
markdownspringboot整合hbase最佳实践(代码片段)
hbase(代码片段)
HBase1.1HBase定义1.2HBase数据模型1.2.1HBase逻辑结构1.2.2HBase物理存储结构1.2.3数据模型1.3HBase基本架构2HBase快速入门2.1HBase安装部署2.1.1Zookeeper正常部署2.1.2Hadoop正常部署2.1.3HBase部署2.1.4HBase服务的启动2.2HBaseShell操作2.2.1基本操作2.2.2表... 查看详情
spark集成hbase与hive数据转换与代码练习
帮一个朋友写个样例，顺便练手啦~一直在做平台的各种事，但是代码后续还要精进啊。。。1importjava.util.Date23importorg.apache.hadoop.hbase.HBaseConfiguration4importorg.apache.hadoop.hbase.client.{Put,Scan,Result}5importorg.apache.hadoop.hbase. 查看详情
hive/hbase/sqoop的安装教程(代码片段)
Hive/Hbase/Sqoop的安装教程 HIVEINSTALL1.下载安装包：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.3/2.上传到Linux指定目录，解压：mkdirhivemvapache-hive-2.3.3-bin.tar.gzhivetar-zxvfapache-hive-2.3.3-bin.tar 查看详情