正文 

当前位置： 首页 > java > java框架

springboot集成hbase

LEO      2022-02-09     291

关键词：

spring boot 集成 hbase 会启动报错

主要因为Spring Boot内嵌了Web容器，方便对应用进行微服务化开发和部署。所以打算将HBase的业务应用作为一个单服务进行开发和发布，其他相关的子系统通过RESTful API来访问。

搭建项目环境时，需要注意的事项：

由于Spring Boot内嵌了Web容器，所以框架默认导入了依赖：tomcat-embed-core-8.5.5.jar、tomcat-embed-el-8.5.5.jar等包。而HBase的jar中包含了：servlet-api-2.5.jar、servlet-api-2.5-6.1.14.jar。当你添加好HBase的相关依赖后，应用程序启动报异常，启动不启来。在搭建项目环境时，记录不要导入servlet-api-2.5.jar、servlet-api-2.5-6.1.14.jar这两个jar包。

同时可能会遇到：hbase java.io.IOException: No FileSystem for scheme: hdfs 的错误

要解决该错误在pom.xml中添加hadoo-client即可，同时也移除servlet-api，参考pom.xml

<dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>对应版本号</version>
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>log4j</groupId>
                    <artifactId>log4j</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>javax.servlet</groupId>
                    <artifactId>servlet-api</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>对应版本号</version>
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>log4j</groupId>
                    <artifactId>log4j</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>javax.servlet</groupId>
                    <artifactId>servlet-api</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

 

原文链接：http://blog.csdn.net/veechange/article/details/52955599

hbase集成mapreduce(代码片段)

集成分析HBase表中的数据最终都是存储在HDFS上，HBase天生的支持MR的操作，我们可以通过MR直接处理HBase表中的数据，并且MR可以将处理后的结果直接存储到HBase表中。参考地址：http://hbase.apache.org/book.html#mapreduce1实现方式一读取HBas... 查看详情

hbase 到 hive 集成失败

】hbase到hive集成失败【英文标题】：hbasetohiveintegrationfailure【发布时间】：2019-02-2010:15:43【问题描述】：我在“hbase”表中有两个值id和name的行、列族h1“hbase_sample”。我想用id和name列在hive中创建外部表，我不想写行或关键字段... 查看详情

HBase Hive 集成 - 错误

】HBaseHive集成-错误【英文标题】：HBaseHiveIntegration-Error【发布时间】：2015-01-2020:08:31【问题描述】：当我尝试使用Hive逻辑表将数据从HDFS加载到HBase时，我遇到了以下问题。我是hadoop新手，无法追踪错误，我正在使用CDH4VM，创建... 查看详情

hbase与hive的集成操作(代码片段)

1.介绍　　Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到HBase中；2.模型概念　　2.1将ETL操作的数据存入HBase　　　　　　2.2HBase作为Hi... 查看详情

springboot整合hbase

前言作为大数据家族中的重要一员，在大数据以及海量数据存储方面，hbase具有重要的地方，本篇将从java对hbase的操作上，进行详细的说明；HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库... 查看详情

hbase 与 pyspark 的集成

】hbase与pyspark的集成【英文标题】：hbaseintegrationwithpyspark【发布时间】：2015-09-2109:23:53【问题描述】：我正在尝试从HDP2.3中的pyspark访问hbase现在我只是尝试使用以下命令执行spark目录中给出的示例程序：spark-submit--driver-class-path/us... 查看详情

hbase集成phoenix创建二级索引(代码片段)

一、Hbase集成Phoneix1、下载在官网http://www.apache.org/dyn/closer.lua/phoenix/中选择提供的镜像站点中下载与安装的HBase版本对应的版本。本地使用的1.2.5，故下载的apache-phoenix-4.11.0-HBase-1.2/的tar.gz包。2、上传并解压tar-zxvfapache-phoenix-4.13.1-H... 查看详情

记springboot项目中集成hbase报错

org.apache.hadoop.hbase.DoNotRetryIOException:java.lang.IllegalAccessError:triedtoaccessmethodcom.google.common.base.Stopwatch.<init>()Vfromclassorg.apache.hadoop.hbase.zookeeper.MetaTableLocato 查看详情

Kafka和HBase集成的最佳实践

】Kafka和HBase集成的最佳实践【英文标题】：BestpracticeforintegratingKafkaandHBase【发布时间】：2015-11-1023:52:45【问题描述】：将流数据从Kafka“导入”到HBase的最佳实践是什么？用例如下：车辆传感器数据流式传输到Kafka。之后，这些... 查看详情

hbase与mapreduce集成(代码片段)

感觉效率不是很高，是否能用sqoop来解决HBase与其他文件系统的数据导入导出。通过HBase的相关JavaApi，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将数据从本地文件导入HBase的表中，或我们从HBase的表中读取一些原... 查看详情

springboot封装hbase操作工具类(代码片段)

    最近项目中用到了Hbase相关的操作并封装成工具类，我的Hbase服务器端版本是2.1.0，图示如下：    特此记录便于日后查阅。一、pom.xml依赖<dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-shade... 查看详情

hbase+springboot实战分布式文件存储

第1章课程简介课程简介及期望学习本门课程可以达到的目标。对本门课程所用到的技术进行概览第2章HBase简介与环境部署介绍HBase是什么，能做什么，有哪些优缺点，适用于哪些应用场景，与常用关系数据库有什么不同。并配置... 查看详情

hbase(代码片段)

续接（三）3habse（1.2）集成hive（1.2.1）===》不兼容集成，需要自己编译！！！　　　　hive1.x与hbase0.98版本兼容　　　　hive2.x与hbase1.x版本以上兼容　　　　hive0.x与hbase0.98以下兼容　　Hive提供了与HBase的集成，使得能够在HBase表... 查看详情

在kerberos环境下hue与hbase集成

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：​​https://github.com/fayson/cdhproject​​提示：代码块部分可以左右滑动查看噢1.文档编写目的Hue中访问HBase是通过HB... 查看详情

spark集成hbase与hive数据转换与代码练习

　　帮一个朋友写个样例，顺便练手啦~一直在做平台的各种事，但是代码后续还要精进啊。。。1importjava.util.Date23importorg.apache.hadoop.hbase.HBaseConfiguration4importorg.apache.hadoop.hbase.client.{Put,Scan,Result}5importorg.apache.hadoop.hbase. 查看详情

hbase与hive集成(代码片段)

...据，不适合做关联查询，join延迟较低，高效的数据访问集成使用案例一建立Hive表，关联HBase表，插入数据到Hive表的同时能够影响HBase表在Hive中创建表同时关联HBaseCREATETABLEhive_hbase_emp_table(empnoint,enamestring,jobstring,mgrint,hiredatestring,s... 查看详情

hbase集群安装及集成

参考技术AHbase集群搭建注意：在安装hbase或者hadoop的时候，要注意hadoop和hbase的对应关系。如果版本不对应可能造成系统的不稳定和一些其他的问题。在hbase的lib目录下可以看到hadoop对应jar文件，默认情况下hbase下lib的jar文件对应h... 查看详情

在 EMR 中，与 HBase 集成的 Pig 脚本在尝试加载数据时失败

】在EMR中，与HBase集成的Pig脚本在尝试加载数据时失败【英文标题】：InEMR,PigScriptintegratedwithHBasefailingwhiletryingtoloaddata【发布时间】：2018-05-1021:30:46【问题描述】：我正在执行一个与HBase交互的pig脚本，我收到以下错误：原因：jav... 查看详情