正文 

当前位置： 首页 > IT > java教程

hive学习：hive安装(代码片段)

wbyixx wbyixx     2022-12-18     165

关键词：

安装前提

已安装并配置了Hadoop集群（单机或者全分布都行）

软件下载

Hive官网：https://hive.apache.org/index.html

Hive安装

配置环境变量

将下载的Hive包上传到机器中，解压到指定路径
编辑 /etc/profile，配置Hive的环境变量
export HIVE_HOME=/.../apache-hive-2.1.0-bin
export PATH=$PATH:$HIVE_HOME/bin
使环境配置生效：source /etc/profile

修改hive-env.sh

因为 Hive 使用了 Hadoop, 需要在 hive-env.sh 文件中指定 Hadoop 安装路径：
同时也要修改其中JAVA_HOME的路径

export JAVA_HOME=/usr/java/jdk-1.8.0_101 ##Java路径
export HADOOP_HOME=/usr/hadoop-2.6.4 ##Hadoop安装路径
export HIVE_HOME=/usr/hadoop-2.6.4/thirdparty/apache-hive-2.1.0-bin ##Hive安装路径
export HIVE_CONF_DIR=$HIVE_HOME/conf ##Hive配置文件路径

配置Hive

进入hive的conf目录： 
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

修改hive-site.xml

对应<name/>，修改成如下<value/>值： 
<property>
<name>hive.exec.scratchdir</name>
<value>/tmp/hive-$user.name</value>
<description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: $hive.exec.scratchdir/&lt;username&gt; is created, with $hive.scratch.dir.permission.</description>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/tmp/$user.name</value>
<description>Local scratch space for Hive jobs</description>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/tmp/hive/resources</value>
<description>Temporary local directory for added resources in the remote file system.</description>
</property>
<property>
<name>hive.querylog.location</name>
<value>/tmp/$user.name</value>
<description>Location of Hive run time structured log file</description>
</property>
<property>
<name>hive.server2.logging.operation.log.location</name>
<value>/tmp/$user.name/operation_logs</value>
<description>Top level directory where operation logs are stored if logging functionality is enabled</description>
</property>

配置Hive Metastore

默认情况下, Hive的元数据保存在了内嵌的 derby 数据库里, 但一般情况下生产环境使用 MySQL 来存放 Hive 元数据。
将 mysql-connector-java-5.1.40-bin.jar 放入 $HIVE_HOME/lib 下。
hive-site.xml 中配置 MySQL 数据库连接信息。 
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>

为Hive创建HDFS目录

在 Hive 中创建表之前需要使用以下 HDFS 命令创建 /tmp 和 /user/hive/warehouse (hive-site.xml 配置文件中属性项 hive.metastore.warehouse.dir 的默认值) 目录并给它们赋写权限。 
start-dfs.sh
hdfs dfs -mkdir /tmp
hdfs dfs -mkdir -p /usr/hive/warehouse
hdfs dfs -chmod g+w /tmp
hdfs dfs -chmod g+w /usr/hive/warehouse

mysql创建用户hive

$ mysql -u root -p 
mysql> CREATE USER ‘hive‘@‘localhost‘ IDENTIFIED BY "hive";
mysql> grant all privileges on *.* to [email protected] identified by ‘hive‘;

运行Hive

在命令行运行 hive 命令时必须保证 HDFS 已经启动。可以使用 start-dfs.sh 来启动 HDFS。
从 Hive 2.1 版本开始, 我们需要先运行 schematool 命令来执行初始化操作。 
schematool -dbType mysql -initSchema
技术图片

要使用 Hive CLI（Hive command line interface）, 可以在终端输入：hive
启动信息如下：
技术图片

测试：
 使用 show tables 来显示所有的表：
技术图片

注意

如果配置了MySQL作为元数据存储，启动Hive前要先启动MySQL数据库服务

 







 

hive学习之路hive安装(代码片段)

目录Hive的下载Hive的安装1、本人使用MySQL做为Hive的元数据库，所以先安装MySQL。2、上传Hive安装包3、解压安装包4、修改配置文件5、一定要记得加入MySQL驱动包（mysql-connector-java-5.1.40-bin.jar）该jar包放置在hive的根路径下的lib目录6... 查看详情

hive学习之路hive安装(代码片段)

Hive的下载下载地址http://mirrors.hust.edu.cn/apache/选择合适的Hive版本进行下载，进到stable-2文件夹可以看到稳定的2.x的版本是2.3.3Hive的安装1、本人使用MySQL做为Hive的元数据库，所以先安装MySQL。MySql安装过程http://www.cnblogs.com/qingyunzong/... 查看详情

学习笔记hive——hive安装配置(代码片段)

一、环境介绍环境描述4个Linux操作系统虚拟机使用centos7镜像配置安装java1.8以上版本安装Hadoop2.6.5以上版本安装MySQL5.1以上版本二、安装MySQL（这里我是CentOs7）安装教程链接：https://www.jb51.net/article/150557.htm1、安装完成... 查看详情

hive学习笔记(代码片段)

安装配置安装hive下载hive解压重命名添加环境变量Vi/etc/proflie使环境变量生效Source/etc/profile修改配置文件cphive-env.sh.templatehive-env.shHiveMetastore配置将自带的derby数据库替换为mysql数据库参考文章https://my.oschina.net/u/4292373/blog/3497563登录... 查看详情

hive学习——单机版hive的安装(代码片段)

目录一、基本概念(一)Hive概念(二)优势和特点(三)Hive元数据管理(四)Hive架构(五)HiveInterface–其他使用环境二、Hive环境搭建1.自动安装脚本2./opt/soft/hive312/conf目录下创建hive配置文件hive-site.xml3.拷贝一个jar包到hive下面的lib目录下4.删... 查看详情

学习笔记--hive网站日志统计分析(代码片段)

前言本次实践的目的是结合之前所学flume、hadoop、hive几个主要技术，完成一个小案例。目标：统计出独立ip数量统计一个ip使用的header数量访问最多的url链接每个ip常访问的url单日每小时访问量折线图准备安装并配置好flume... 查看详情

hive学习笔记(代码片段)

安装配置安装hive下载hive解压重命名添加环境变量Vi/etc/proflie使环境变量生效Source/etc/profile修改配置文件cphive-env.sh.templatehive-env.shHiveMetastore配置将自带的derby数据库替换为mysql数据库参考文章https://my.oschina.net/u/4292373/blog/3497563登录... 查看详情

hadoop生态之hive(代码片段)

最近博主一直在学习hive，也是想做一个总结来方便各位佬以及博主自己的知识记忆，毕竟大数据生态需要掌握的基础知识以及组件很多很多，在学习新框架组件的同时基础和以前的框架底层知识也很重要哦。禁止上... 查看详情

hive学习之路hive中文乱码(代码片段)

Hive注释中文乱码创建表的时候，comment说明字段包含中文，表成功创建成功之后，中文说明显示乱码createexternaltablemovie(userIDintcomment‘用户ID‘,movieIDintcomment‘电影ID‘,ratingintcomment‘电影评分‘,timestampedbigintcomment‘评分时间戳‘,... 查看详情

hive学习（待更新）(代码片段)

 1安装hive下载http://mirrors.shu.edu.cn/apache/hive/hive-1.2.2/，红框中的不需要编译。由于hive是默认将元数据保存在本地内嵌的Derby数据库中，但是这种做法缺点也很明显，Derby不支持多会话连接，因此本文将选择mysql作为元数据存储... 查看详情

hive-安装(代码片段)

目录hive安装地址Hive安装部署解压hive到指安装目录下配置hive环境变量解决日志jar包冲突（一般不用）初始化元数据库报错解决如下Hive启动报错解决如下hive安装地址Hive官网地址：http://hive.apache.org/文档查看地址https://c... 查看详情

学习笔记hive——hive应用——hive查询(代码片段)

五、Hive查询5.1、创建职工信息表任务实现：1、创建表dept，emp和salgrade2、导入数据将数据emp.txt导入到表emp#emp.txt7369,SMITH,CLERK,7902,1980-12-17,800.00,,207499,ALLEN,SALESMAN,7698,1981-2-20,1600.00,300.00,307521,WARD,SALE 查看详情

学习笔记hive——hive应用——hive导入及导出数据(代码片段)

四、Hive导入及导出数据通过HDFS直接导入导出通过Hive命令导入导出4.1、Hive导入数据的语法LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]LOCAL：导入语句带有LOCALÿ 查看详情

hive学习之路hive的高级操作(代码片段)

一、负责数据类型1、array 现有数据如下：1huangboguangzhou,xianggang,shenzhena1:30,a2:20,a3:100beijing,112233,13522334455,5002 xuzheng xianggang b2:50,b3:40 tianjin,223344,13644556677,6003 wangbaoqiang beijing,zhe 查看详情

hive学习（仅供参考）(代码片段)

hive搭建Hive什么是hiveHive的优势和特点hive搭建解压、改名修改环境变量添加hive-site.xml将maven架包拷贝到hive替换一下gua包使环境变量生效初始化安装成功Hive什么是hive将结构化的数据文件映射为数据库表提供类sql的查询语言HQL(HiveQu... 查看详情

hive学习（仅供参考）(代码片段)

hive搭建Hive什么是hiveHive的优势和特点hive搭建解压、改名修改环境变量添加hive-site.xml将maven架包拷贝到hive替换一下gua包使环境变量生效初始化安装成功Hive什么是hive将结构化的数据文件映射为数据库表提供类sql的查询语言HQL(HiveQu... 查看详情

hive入门(代码片段)

...1.4.1查询语言1.4.2数据更新1.4.3执行延迟1.4.4数据规模2Hive安装2.1Hive安装地址2.2Hive安装部署2.2.1安装Hive2.2.2启动并使用Hive2.3MySQL安装2.4Hive元数据配置到MySQL2.4.1再次启动Hive2.5使用 查看详情

hive2.1.1安装配置(代码片段)

 ##前期工作安装JDK安装Hadoop安装MySQL##安装Hive###下载Hive安装包可以从Apache其中一个镜像站点中下载最新稳定版的Hive,apache-hive-2.1.1-bin.tar.gz。解压安装Hive使用以下命令安装Hive:sudomvapache-hive-2.1.1-bin.tar.gz/optcd/optsudotar-xzvfapache-hive 查看详情