学习笔记hive——hive安装配置(代码片段)

别呀 别呀     2023-01-09     549

关键词:

一、环境介绍

环境描述
4个Linux操作系统虚拟机使用centos7镜像配置
安装java1.8以上版本
安装Hadoop2.6.5以上版本
安装MySQL5.1以上版本

二、安装MySQL

(这里我是CentOs7)
安装教程链接:https://www.jb51.net/article/150557.htm

1、安装完成后,启动mysql
直接在终端输入:mysql

2、执行以下命令为root用户设置权限

use mysql;  
 
delete from user where 1=1;

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

FLUSH PRIVILEGES;

三、安装Hive

Hive安装教程: https://blog.csdn.net/Shockang/article/details/118062872

四、测试:Hive单词计数

hive –e Hive语句
hive –f Hive脚本

准备一个text.txt和wordcount.hql文件(均放入/opt目录下)

text.txt

I am a student
I learn hadoop
I learn MapReduce

wordcount.hql

drop table if exists words;
create table words(textline string);
load data local inpath '/opt/test.txt' into table words;
set hive.cli.print.header=true;
select word,count(*) as wordcount from (select explode(split(textline," ")) as word from words) tmp group by word;

执行wordcount.hql:

hive -f wordcount.hql

结果:

学习笔记--hive网站日志统计分析(代码片段)

前言本次实践的目的是结合之前所学flume、hadoop、hive几个主要技术,完成一个小案例。目标:统计出独立ip数量统计一个ip使用的header数量访问最多的url链接每个ip常访问的url单日每小时访问量折线图准备安装并配置好flume... 查看详情

hive学习笔记(代码片段)

安装配置安装hive下载hive解压重命名添加环境变量Vi/etc/proflie使环境变量生效Source/etc/profile修改配置文件cphive-env.sh.templatehive-env.shHiveMetastore配置将自带的derby数据库替换为mysql数据库参考文章https://my.oschina.net/u/4292373/blog/3497563登录... 查看详情

hive学习:hive安装(代码片段)

安装前提已安装并配置了Hadoop集群(单机或者全分布都行)软件下载Hive官网:https://hive.apache.org/index.htmlHive安装配置环境变量将下载的Hive包上传到机器中,解压到指定路径编辑/etc/profile,配置Hive的环境变量exportHIVE_HOME=/.../apache-... 查看详情

hive学习hive安装(代码片段)

一,文件下载二,hive安装  2.1mysql安装  2.2解压hive  2.3配置文件配置  2.4环境变量配置  2.5 添加mysql的connect的jar包三,hive使用方式  3.1hive直接启动服务  3.2hiveserver2以一个服务的方式启动  3.3hive-e直接脚... 查看详情

hive学习之路hive安装(代码片段)

目录Hive的下载Hive的安装1、本人使用MySQL做为Hive的元数据库,所以先安装MySQL。2、上传Hive安装包3、解压安装包4、修改配置文件5、一定要记得加入MySQL驱动包(mysql-connector-java-5.1.40-bin.jar)该jar包放置在hive的根路径下的lib目录6... 查看详情

hive学习笔记

Hive学习笔记1、Hive安装(只在主节点上安装) (1)下载安装包到/usr/app/目录下 (2)解压 (3)修改配置文件/etc/profile(添加 exportHIVE_HOME=/usr/local/hive-0.9.0-bin exportHADOOP_HOME=/usr/local/hadoop-0.20.2-cdh3u 查看详情

学习笔记hive——hive应用——hive查询(代码片段)

五、Hive查询5.1、创建职工信息表任务实现:1、创建表dept,emp和salgrade2、导入数据将数据emp.txt导入到表emp#emp.txt7369,SMITH,CLERK,7902,1980-12-17,800.00,,207499,ALLEN,SALESMAN,7698,1981-2-20,1600.00,300.00,307521,WARD,SALE 查看详情

学习笔记hive——hive应用——hive导入及导出数据(代码片段)

四、Hive导入及导出数据通过HDFS直接导入导出通过Hive命令导入导出4.1、Hive导入数据的语法LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]LOCAL:导入语句带有LOCALÿ 查看详情

hive学习之路hive安装(代码片段)

Hive的下载下载地址http://mirrors.hust.edu.cn/apache/选择合适的Hive版本进行下载,进到stable-2文件夹可以看到稳定的2.x的版本是2.3.3Hive的安装1、本人使用MySQL做为Hive的元数据库,所以先安装MySQL。MySql安装过程http://www.cnblogs.com/qingyunzong/... 查看详情

学习笔记hive——hive开发应用(代码片段)

一、任务1.1、商品零售购物篮分析现代商品种类繁多,顾客往往会由于需要购买的商品众多而变得疲于选择,且顾客并不会因为商品选择丰富而选择购买更多的商品。繁杂的选购过程往往会给顾客疲惫的购物体验。1.2、... 查看详情

hive系统性学习笔记

1.基础1.1DDLHive分桶Bucket1.2DML1.3函数Hive如何实现自定义函数UDFHive日期相关函数Hive如何使用GroupingSets1.4服务Hive元数据服务MetaStore2.原理3.调优HiveCountDistinct优化HiveJoin优化之MapJoin4.实战Hive安装与配置在Zeppelin中如何使用Hive 查看详情

hive系统性学习笔记

1.基础1.1DDLHive分桶Bucket1.2DML1.3函数Hive如何实现自定义函数UDFHive日期相关函数Hive如何使用GroupingSets1.4服务Hive元数据服务MetaStore2.原理3.调优HiveCountDistinct优化HiveJoin优化之MapJoin4.实战Hive安装与配置在Zeppelin中如何使用Hive 查看详情

学习笔记hive——查询优化(代码片段)

一、视图1.1、Hive的视图视图是基于数据库的基本表进行创建的一种伪表,数据库中储存视图的定义,不存数据项,数据项仍然存在基本表中它可作为一个抽象层,将数据发布给下游用户。目前Hive版本支持逻辑视... 查看详情

hive安装与配置详解(代码片段)

既然是详解,那么我们就不能只知道怎么安装hive了,下面从hive的基本说起,如果你了解了,那么请直接移步安装与配置hive是什么hive安装和配置hive的测试hive  这里简单说明一下,好对大家配置hive有点帮助。hive是建立在hadoop... 查看详情

hadoop生态之hive(代码片段)

最近博主一直在学习hive,也是想做一个总结来方便各位佬以及博主自己的知识记忆,毕竟大数据生态需要掌握的基础知识以及组件很多很多,在学习新框架组件的同时基础和以前的框架底层知识也很重要哦。禁止上... 查看详情

hive----hive安装及配置(代码片段)

Hive安装及配置下载hive安装包此处以hive-0.13.1-cdh5.3.6版本的为例,包名为:hive-0.13.1-cdh5.3.6.tar.gz解压Hive到安装目录$tar-xvfhive-0.13.1-cdh5.3.6.tar.gz重命名配置文件mvhive-default.xml.templatehive-site.xmlmvhive-env.sh.templatehive-en 查看详情

学习笔记hive——hive应用——数据库定义创建表(代码片段)

一、任务讲解泰坦尼克号乘客信息存储与分析泰坦尼克号乘客信息存储与分析:创建乘客信息表导入数据到表中统计获救与死亡情况统计舱位分布情况统计港口登船人数分布情况统计性别与生存率的关系统计客舱等级与生存... 查看详情

hive2.1.1安装配置(代码片段)

 ##前期工作安装JDK安装Hadoop安装MySQL##安装Hive###下载Hive安装包可以从Apache其中一个镜像站点中下载最新稳定版的Hive,apache-hive-2.1.1-bin.tar.gz。解压安装Hive使用以下命令安装Hive:sudomvapache-hive-2.1.1-bin.tar.gz/optcd/optsudotar-xzvfapache-hive 查看详情