正文

新闻网大数据实时分析可视化系统项目——12hive与hbase集成进行数据分析

ratels  ratels  2022-12-08  475

关键词：

（一）Hive 概述

（二）Hive在Hadoop生态圈中的位置

（三）Hive 架构设计

技术图片

（四）Hive 的优点及应用场景

（五）Hive 的下载和安装部署

1.Hive 下载

Apache版本的Hive。

Cloudera版本的Hive。

这里选择下载Apache稳定版本apache-hive-0.13.1-bin.tar.gz，并上传至bigdata-pro03.kfk.com节点的/opt/softwares/目录下。

2.解压安装hive

tar -zxf apache-hive-0.13.1-bin.tar.gz -C /opt/modules/

3.修改hive-log4j.properties配置文件

cd /opt/modules/hive-0.13.1-bin/conf

mv hive-log4j.properties.template hive-log4j.properties

vi hive-log4j.properties

#日志目录需要提前创建

hive.log.dir=/opt/modules/hive-0.13.1-bin/logs

4.修改hive-env.sh配置文件

mv hive-env.sh.template hive-env.sh

vi hive-env.sh

export HADOOP_HOME=/opt/modules/hadoop-2.5.0

export HIVE_CONF_DIR=/opt/modules/hive-0.13.1-bin/conf

5.首先启动HDFS，然后创建Hive的目录

bin/hdfs dfs -mkdir -p /user/hive/warehouse

bin/hdfs dfs -chmod g+w /user/hive/warehouse

6.启动hive

./hive

#查看数据库

show databases;

#使用默认数据库

use default;

#查看表

show tables;

（六）Hive 与MySQL集成

1.在/opt/modules/hive-0.13.1-bin/conf目录下创建hive-site.xml文件，配置mysql元数据库。

vi hive-site.xml

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://bigdata-pro01.kfk.com/metastore?createDatabaseIfNotExist=true</value>

</property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<name>javax.jdo.option.ConnectionUserName</name>

</property>

<name>javax.jdo.option.ConnectionPassword</name>

</property>

2.设置用户连接

1）查看用户信息

mysql -uroot -p123456

show databases;

use mysql;

show tables;

select User,Host,Password from user;

2）更新用户信息

update user set Host=‘%‘ where User = ‘root‘ and Host=‘localhost‘

3）删除用户信息

delete from user where user=‘root‘ and host=‘127.0.0.1‘

select User,Host,Password from user;

delete from user where host=‘localhost‘

4）刷新信息

flush privileges;

3.拷贝mysql驱动包到hive的lib目录下

cp mysql-connector-java-5.1.27.jar /opt/modules/hive-0.13.1/lib/

4.保证第三台集群到其他节点无秘钥登录

（七）Hive 服务启动与测试

1.启动HDFS和YARN服务

2.启动hive

./hive

3.通过hive服务创建表

CREATE TABLE stu(id INT,name STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\\t‘ ;

4.创建数据文件

vi /opt/datas/stu.txt

00001 zhangsan

00002 lisi

00003 wangwu

00004 zhaoliu

5.加载数据到hive表中

load data local inpath ‘/opt/datas/stu.txt‘ into table stu;

（八）Hive与HBase集成

1.在hive-site.xml文件中配置Zookeeper，hive通过这个参数去连接HBase集群。

<name>hbase.zookeeper.quorum</name> <value>bigdata-pro01.kfk.com,bigdata-pro02.kfk.com,bigdata-pro03.kfk.com</value>

</property>

2.将hbase的9个包拷贝到hive/lib目录下。如果是CDH版本，已经集成好不需要导包。

技术图片

3.创建与HBase集成的Hive的外部表

create external table weblogs(id string,datatime string,userid string,searchname string,retorder string,cliorder string,cliurl string) STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler‘ WITH SERDEPROPERTIES("hbase.columns.mapping" = ":key,info:datatime,info:userid,info:searchname,info:retorder,info:cliorder,info:cliurl") TBLPROPERTIES("hbase.table.name" = "weblogs");

#查看hbase数据记录

select count(*) from weblogs;

4.hive 中beeline和hiveserver2的使用

1）启动hiveserver2

bin/hiveserver2

2）启动beeline

bin/beeline

#连接hive2服务

!connect jdbc:hive2//bigdata-pro03.kfk.com:10000

#查看表

show tables;

#查看前10条数据

select * from weblogs limit 10;

新闻网大数据实时分析可视化系统项目——9flume+hbase+kafka集成与开发

1.下载Flume源码并导入Idea开发工具1）将apache-flume-1.7.0-src.tar.gz源码下载到本地解压2）通过idea导入flume源码打开idea开发工具，选择File——》Open然后找到flume源码解压文件，选中flume-ng-hbase-sink，点击ok加载相应模块的源码。2.... 查看详情

新闻实时分析系统hive与hbase集成进行数据分析clouderahue大数据可视化分析

1.Hue概述及版本下载1）概述Hue是一个开源的ApacheHadoopUI系统，最早是由ClouderaDesktop演化而来，由Cloudera贡献给开源社区，它是基于PythonWeb框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析... 查看详情

《大数据实时处理》学生学期总结

...文正《学期总结》1、乔自静《学期总结》这学期学习《大数据实时处理》让我受益查看详情

大数据实训

Fristday工具架构数仓架构Linux-简单使用部署工具vmware15Linuxcentos7.5Hadhoop3.2.1Hive3.1.2SpringBootEchartzk3.4.5架构编码[内存]磁盘（textfilexmljson）RDBMS(mysqloracle)分布式、集群（nosql）Hadhoop数仓架构离线:批计算——攒了一批数... 查看详情

重庆新闻联播报道thingjs项目反恐3d可视化预案多警种3d可视化预案系统

...恐实战演练》片段画面中，ThingJS为实战演练提供了反恐3D可视化预案系统。新闻视频：http://news.cctv.com/2018/10/29/VIDEJXPaPzKXoPDo9WG1uTRv181029.shtml新闻画面多警力综合应急预案3D可视化系统是以3D虚拟化技术为基础，以数字化、... 查看详情

twitter发布新的大数据实时分析系统heron

Twitter发布了新开发的数据实时分析平台Heron，以下为官方文档摘译：我们每天在Twitter上处理着数十亿的事件。正如你猜测的那样，实时分析这些事件是一个巨大的挑战。目前，我们主要的分析平台是开源的分布式... 查看详情

hadoop+hive+flask+echarts大数据可视化项目之系统信息数据上传及上传的底层实现(代码片段)

Hadoop+hive+flask+echarts大数据可视化项目（三）--------------上传系统信息数据到hadoop平台及hadoop上传指令的底层实现---------------- 关注过Hadoop+hive+flask+echarts大数据可视化项目的读者，这里是第三部... 查看详情

大数据实训

计算机专业大数据实训怎么做？学大数据为什么要做实训如何高效做好大数据实训一、细心且认真二、认真思考，动手操作三、独立解决出现的问题四、养成好习惯大数据实训的意义个人发展找工作时的优势学大数据为... 查看详情

大数据培训内容，大数据要学哪些课程

...实施，综合技术实战应用。大数据分析的几个方面：1、可视化分析：可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话查看详情

基于hadoop生态系统的大数据项目

mapreduce+hbase+爬虫+可视化，hadoop项目（内涵答辩ppt和实验报告)，用mapreduce处理好后存入MySQL，然后使用springboot做后端，前端使用echats+vue，前后端分离（包涵操作文档和答辩ppt），查看详情

大数据实时数据同步超级详细的生产环境ogg(goldengate)12.2实时异构同步oracle数据部署方案(上)(代码片段)

系列文章目录【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(中)【大数据实时数据同步... 查看详情

大数据实时数据同步超级详细的生产环境ogg(goldengate)12.2实时异构同步oracle数据部署方案(下)(代码片段)

运营商大数据实时获客

获客盟运营商大数据精准营销获客服务项目，帮助企业实现低成本高效率的商业先机，帮助企业挖掘精准客源和最后一公里的精准触达。近日，三大运营商相继公布了2021年开年第一个月的运营数据。在移动用户上ÿ... 查看详情

数据分析文章待读

《实时分析系统(HIVE/HBASE/IMPALA)浅析》《MPP DB 是大数据实时分析系统未来的选择吗？》《一套数据，多种引擎（impala/Hive/kylin）》《一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析》有兴趣可以看看。查看详情

第三次大数据实验

./bin/hdfsdfs-mkdir-p/user/stucd/usr/local/hadoop/./bin/hdfsdfs-mkdir/user/stu/input./sbin/start-dfs.sh./bin/hdfsdfs-put/home/stu/wordfile1.txtinput./bin/hdfsdfs-put/home/stu/wordfile2.txtinput cd/usr 查看详情

大数据实时数据同步超级详细的生产环境ogg(goldengate)12.2实时异构同步oracle数据部署方案(中)(代码片段)

系列文章目录【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(中)文章目录系列文章目录... 查看详情

基于echarts实现大数据项目实战一可视化分析(代码片段)

目录一、业务需求分析二、web系统数据处理服务层开发三、基于WebSocket协议的数据推送服务开发四、基于Echart框架的页面展示层开发五、运行展示一、业务需求分析根据业务需求，我们需要将spark处理过的数据写入到mysql数据... 查看详情