hadoop基础之《—整合hbase+phoenix+hive》

csj50 csj50     2023-02-16     257

关键词:

一、HBase简介

1、HBase定义
Apache HBase是以HDFS为数据存储的,一种分布式、可扩展的NoSQL数据库(非关系型,以k,v的形式存储数据)。
HBase可以认为是以HDFS为存储的数据库。

2、HBase数据模型
(1)HBase的设计理念依据Google的BigTable论文,论文中对于数据模型的首句介绍:
Bigtable是一个稀疏的、分布式的、持久的多维排序map(代码里的hashmap是单维的,并且一定是有序的)。
(2)之后对于映射的解释如下:
该映射由行键、列键和时间戳索引;映射中的每个值都是一个未解释的字节数组。
(3)最终HBase关于数据模型和BigTable的对应关系如下:
HBase使用与Bigtable非常相似的数据模型。用户将数据行存储在带标签的表中。数据行具有可排序的键和任意数量的列。该表存储稀疏,因此如果用户喜欢,同一表中的行可以具有疯狂变化的列。
(4)最终理解HBase数据模型的关键在于稀疏、分布式、多维、排序的映射。其中映射map指代非关系型数据库的key-value结构。

二、HBase逻辑结构

1、存储数据稀疏,原数据有留空的部分。

2、数据存储多维,不同的行具有不同的列。

3、数据存储整体有序,按照RowKey的字典序排列,RowKey为Byte数组。

4、列、列族、Row key
row key是按照字典顺序排序的。

5、按照行进行拆分
拆分出Region,它会有对应的row key的一个范围。每个Region的row key范围不交叉。

将表格按照行拆分,块名称为Region,用于实现分布式结构。

6、竖着进行拆分
拆分出来的叫store。以列族为单位。

按照列族切分为store用于底层存储到不同的文件夹中,便于文件对应。

三、HBase物理存储结构

1、物理结构
物理存储结构即为数据映射关系,而在概念视图的空单元格,底层实际根本不存储。

列是:Row Key + 列族 + 列名 + 时间戳。

HDFS有一个特点,不能修改数据,只能删除、重写、追加写。

HBase要在不能改数据的基础上,实现改数据的功能,如何实现——以时间戳标记不同的版本。实际上删除、重写、追加写也是加标记。

四、数据模型概念

1、Name Space
命名空间,类似于关系型数据库的database概念,每个命名空间下有多个表。HBase两个自带的命名空间,分别是hbase和default。hbase存放的是HBase内置的表,default表是用户默认使用的命名空间。

hbase入门基础教程hbase之单机模式与伪分布式模式安装

...界面。搭建HBase伪分布式环境的前提是我们已经搭建好了Hadoop完全分布式环境,搭建Hadoop环境请参考:【Hadoop入门基础教程】4、Hadoop之完全分布式环境搭建开发环境硬件环境:CentOS 6.5服务器4台(一台为Master节点,三台为Slave... 查看详情

大数据学习系列之六-----hadoop+spark环境搭建

...Base,并且测试成功了。在之前的大数据学习系列之一-----Hadoop环境搭建(单机):http://www.panchengming.com/2017/11/26/pancm55/中成功的搭建了Hadoop 查看详情

hbase系列之初识hbase

一、概述  在hadoop生态圈里,hbase可谓是鼎鼎大名。江湖传言,hbase可以实现数十亿行X数百万列的实时查询,可横向扩展存储空间。如果传言为真,那得好好了解了解hbase。本文从概念上介绍hbase,稍微有点抽象,但这是学习hba... 查看详情

hbase编程api入门之get

    前面是基础。HBase编程API入门之put packagezhouls.bigdata.HbaseProject.Test1;importjavax.xml.transform.Result;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfig 查看详情

hbase之集群状态

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.*;importorg.apache.hadoop.hbase.client.Admin;importorg.apache.hadoop.hbase.client.Connection;importorg.apache.hadoop.hbase.clie 查看详情

hbase之修改表结构

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.HColumnDescriptor;importorg.apache.hadoop.hbase.HTableDescriptor;importorg.apa 查看详情

hbase文档学习顺序

...ps://www.toutiao.com/i6774583961667502603/4、《HBase基础环境搭建之Hadoop搭建》https://www.toutiao.com/i6774661613522780675/5、《HBase基础环境搭建之Hive和Sqoop安装》https://www.toutiao.com/i6775092146723619342/6、《HBase环境分布式搭建》https://www.toutiao.com/i67750... 查看详情

hbase2.3.x安装之三hadoop(代码片段)

os:centos7.6.1810db:hbase2.3.xhadoop2.10.xzookeeper3.6jdk1.8hbase是运行在hadoop之上,hadoop又是运行在jvm之上。索引hbase、hadoop、jdk的版本选择就得考虑兼容性https://hbase.apache.org/book.html#javahttps://hbase.apache.org/book 查看详情

hadoop系列之hbase环境搭建和使用

HBase环境准备HBase下载地址:http://archive.apache.org/dist/hbase/tar-zxvfhbase-1.4.11-bin.tar.gz#解压hbasevim/etc/profile#配置hbase环境变量在最后加上exportPATH=$PATH:/usr/local/soft/hbase-1.4.11/binsource/etc/pr 查看详情

hadoop之——hbase结合mapreduce批量导入数据

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46463889废话不多说。直接上代码,你懂得packagehbase;importjava.text.SimpleDateFormat;importjava.util.Date;importorg.apache.hadoop.conf.Configuration;importorg. 查看详情

hadoop之mapreduce基础(代码片段)

...一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架;  Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。1... 查看详情

hadoop之hbase简介

HBASE的发展从bigtable讲起bigtable是一个分布式存储系统利用mapreduce分布式并行计算模型处理海量数据使用分布式文系统GFS作为底层数据存储采用Chubby提供协同服务管理扩展到PB级别的数据和上千台机器,具有广泛应用性,可... 查看详情

hadoop系列之hbase环境搭建和使用

...soft/hbase-1.4.11/binsource/etc/profile#重启,使hbase生效chown-Rhadoophbase-1.4.11#给hbase赋hadoop权限bin/hbaseversion#查看hbase是否配置成功,若成功,则显示hbase的版本信息HBase配置hbase单机模式下不需要hadoop,伪分布式模式和分布... 查看详情

hadoop学习笔记—15.hbase框架学习(基础实践篇)

一、HBase的安装配置1.1伪分布模式安装  伪分布模式安装即在一台计算机上部署HBase的各个角色,HMaster、HRegionServer以及ZooKeeper都在一台计算机上来模拟。  首先,准备好HBase的安装包,我这里使用的是HBase-0.94.7的版本,已经... 查看详情

hbase基础介绍

...后,好多公司实现处理大数据并从中受益,并开始选择像Hadoop的解决方案。Hadoop使用分布式文件系统,用于存储大数据,并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据,任意的格式甚至非结构化的处理。Hadoop的限... 查看详情

hive与hbase关系整合

...具体介绍Hive与Hbase整合之前,先给大家用一个流程图介绍Hadoop业务的开发流程以及Hive与Hbase的整合在业务当中的必要性。  其中在数据存入hbase—>Hive对数据进 查看详情

hbase之集群搭建与快速入门(代码片段)

HBase快速入门1.HBase安装部署Zookeeper正常部署[codecat@hadoop102zookeeper-3.5.9]$bin/zkServer.shstart[codecat@hadoop103zookeeper-3.5.9]$bin/zkServer.shstart[codecat@hadoop104zookeeper-3.5.9]$bin/zkServ 查看详情

hive与hbase关系整合

...具体介绍Hive与Hbase整合之前,先给大家用一个流程图介绍Hadoop业务的开发流程以及Hive与Hbase的整合在业务当中的必要性。其中在数据存入hbase—>Hive对数据进行统计分析的这个步骤中就涉及到了Hive与Hba 查看详情