关键词：
【中文标题】HBase Hive 集成 - 错误【英文标题】：HBase Hive Integration - Error 【发布时间】：2015-01-20 20:08:31 【问题描述】：当我尝试使用 Hive 逻辑表将数据从 HDFS 加载到 HBase 时，我遇到了以下问题。我是 hadoop 新手，无法追踪错误，我正在使用 CDH4 VM，
创建一个由 Hive 管理的新 HBase 表
CREATE TABLE hive_hbasetable(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "hivehbasek1");
Hbase shell 输出
hbase(main):002:0> list
TABLE
hivebasek1
mysql_cityclimate
2 row(s) in 0.2470 seconds
我在 Hive 中创建了一个逻辑表 hive_logictable
CREATE TABLE hive_logictable (foo INT, bar STRING) row format delimited fields terminated by ',';
从 HDFS 向 hive_logictable 中插入数据。
cat TextFile.txt
100,value1
101,value2
102,value3
103,value4
104,value5
105,value6
LOAD DATA LOCAL INPATH '/home/cloudera/TextFile.txt' OVERWRITE INTO TABLE hive_logictable;
使用 Hive 将数据加载到 HBase 表中。
INSERT OVERWRITE TABLE hive_hbasetable SELECT * FROM hive_logictable;
下面是抛出的错误信息......
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_201501200937_0004, Tracking URL = http://0.0.0.0:50030/jobdetails.jsp?jobid=job_201501200937_0004
Kill Command = /usr/lib/hadoop/bin/hadoop job -kill job_201501200937_0004
Hadoop job information for Stage-0: number of mappers: 1; number of reducers: 0
2015-01-20 10:38:07,412 Stage-0 map = 0%, reduce = 0%
2015-01-20 10:38:52,822 Stage-0 map = 100%, reduce = 100%
Ended Job = job_201501200937_0004 with errors
Error during job, obtaining debugging information...
Job Tracking URL: http://0.0.0.0:50030/jobdetails.jsp?jobid=job_201501200937_0004
Examining task ID: task_201501200937_0004_m_000002 (and more) from job job_201501200937_0004
Task with the most failures(4):
-----
Task ID:
task_201501200937_0004_m_000000
URL:
http://localhost.localdomain:50030/taskdetails.jsp?jobid=job_201501200937_0004&tipid=task_201501200937_0004_m_000000
-----
Diagnostic Messages for this Task:
java.lang.RuntimeException: Error in configuring object
at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:413)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:332)
at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1438)
at org.apache.hadoop.mapred.Child.main(Child.java:262)
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.ja
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
MapReduce Jobs Launched:
Job 0: Map: 1 HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec
错误消息结束。
【问题讨论】：
【参考方案1】：您能否检查一下原子插入在 HIVE 表上是否正常工作？并分享结果？
【讨论】：
hbase与hive的集成操作(代码片段)
1.介绍 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到HBase中；2.模型概念 2.1将ETL操作的数据存入HBase 2.2HBase作为Hi... 查看详情
hbase与hive集成(代码片段)
...据，不适合做关联查询，join延迟较低，高效的数据访问集成使用案例一建立Hive表，关联HBase表，插入数据到Hive表的同时能够影响HBase表在Hive中创建表同时关联HBaseCREATETABLEhive_hbase_emp_table(empnoint,enamestring,jobstring,mgrint,hiredatestring,s... 查看详情
hbase(代码片段)
续接（三）3habse（1.2）集成hive（1.2.1）===》不兼容集成，需要自己编译！！！ hive1.x与hbase0.98版本兼容 hive2.x与hbase1.x版本以上兼容 hive0.x与hbase0.98以下兼容 Hive提供了与HBase的集成，使得能够在HBase表... 查看详情
新闻实时分析系统hive与hbase集成进行数据分析
（一）Hive概述 （二）Hive在Hadoop生态圈中的位置 （三）Hive架构设计 （四）Hive的优点及应用场景 （五）Hive的下载和安装部署1.Hive下载Apache版本的Hive。Cloudera版本的Hive。这里选择下载Apache稳定版本apache-hive-0.1... 查看详情
spark集成hbase与hive数据转换与代码练习
帮一个朋友写个样例，顺便练手啦~一直在做平台的各种事，但是代码后续还要精进啊。。。1importjava.util.Date23importorg.apache.hadoop.hbase.HBaseConfiguration4importorg.apache.hadoop.hbase.client.{Put,Scan,Result}5importorg.apache.hadoop.hbase. 查看详情
hivehbaseintegration集成
官方文档：https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration 1、在hive/lib目录下找到hive-hbase-handler-1.2.1.jar，并把该文件拷贝到hbase/lib目录下。2、把hbase/lib目录下的所有*.jar文件拷贝到hive/lib目录下。3、在hive的配置文件中 查看详情
Hive INSERT OVERWRITE 显示错误
...1309:50:10【问题描述】：我正在研究将hbase-0.98.19与hive-1.2.1集成的示例。我已经使用命令在hbase中创建了一个表CREATETABLEhbase_table_emp(idint,namestring,rolestring)STOREDBY\'org.a 查看详情
如何在 HBase 和 Impala 中提取给定日期而不与 hive 集成的星期几？
】如何在HBase和Impala中提取给定日期而不与hive集成的星期几？【英文标题】：HowtoextractdayofweekgivenadateinHBaseandImpalawithoutintegrationwithhive？【发布时间】：2019-08-0900:24:34【问题描述】：例如，2019-08-09是星期五。但是在Impaladocumentation... 查看详情
新闻网大数据实时分析可视化系统项目——12hive与hbase集成进行数据分析
（一）Hive概述（二）Hive在Hadoop生态圈中的位置（三）Hive架构设计（四）Hive的优点及应用场景（五）Hive的下载和安装部署1.Hive下载Apache版本的Hive。Cloudera版本的Hive。这里选择下载Apache稳定版本apache-hive-0.13.1-bin.tar.gz，并上传至b... 查看详情
hive教程---整合hbase
目录6.4.1HBase与Hive的对比6.4.2HBase与Hive集成使用6.4.1HBase与Hive的对比Hive(1)数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。(2)用于数据分析、清洗Hive适用于离线的数据... 查看详情
hive整合hbase
摘要Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。??应用场景2.1将ETL操作的数据存入HBase???? ???2.2HBase作为Hive的数据源?? ??2.3... 查看详情
数据库与数据仓库的比较hbase——hive
...仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。（1）面向主题：指数据仓库中的数据是按照一定的主题域进行... 查看详情
新闻实时分析系统hive与hbase集成进行数据分析clouderahue大数据可视化分析
1.Hue概述及版本下载1）概述Hue是一个开源的ApacheHadoopUI系统，最早是由ClouderaDesktop演化而来，由Cloudera贡献给开源社区，它是基于PythonWeb框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析... 查看详情
Pentaho 中的 Hive 数据集成错误
】Pentaho中的Hive数据集成错误【英文标题】：HiveDataIntegrationerrorinPentaho【发布时间】：2014-08-2707:25:51【问题描述】：我正在使用BigdataLite3.0、Pentaho5.1、CDH5.0。我想使用Pentaho连接Hive表。尝试连接时，出现以下错误。Errorconnectingtodat... 查看详情
hbase(代码片段)
...duce将本地数据导入到HBase4.3.3自定义HBase-MapReduce4.4与Hive的集成4.4.1HBase与Hive的对比4.4.2HBase与Hive集成使用5HBase优化5.1高可用5.2预分区5.3RowKey设计5.4内存优化5.5基础优化6HBase实战之谷粒微博总结#1HBase简介1.1HBase定义HBase是一种分布式... 查看详情
Spark 2.3.0 SQL 无法将数据插入 hive hbase 表
...发布时间】：2018-06-0411:51:09【问题描述】：使用与hive2.2.0集成的Spark2.3thriftserver。从火花直线运行。尝试将数据插入hivehbase表（以hbase作为存储的hive表）。插入hive本机表是可以的。插入hivehba 查看详情
SparkSQL+Hive+Hbase+HbaseIntegration 不起作用
...9-0205:59:14【问题描述】：当我尝试连接配置单元表时出现错误（正在在spark中通过HbaseIntegration创建）我遵循的步骤：Hive表创建代码：CREATETABLEtest.sample(idstr 查看详情
sparksql同步hbase数据到hive表
...本地环境版本一定要与依赖包版本保持一直，不然报如下错误java.lang.IllegalArgumentException:UnrecognizedHadoopmajorversionnumber:3.1.1hbase1.X与2.X有很大差距，所以再看案例参考是一定要结合自己的hbase版本。笔者程序编译中遇到CannotResolvesymbo... 查看详情