正文 

当前位置： 首页 > IT > java教程

hive----hive安装及配置(代码片段)

Screenly Screenly     2022-11-10     750

关键词：

Hive安装及配置

下载hive安装包

此处以hive-0.13.1-cdh5.3.6版本的为例，包名为：hive-0.13.1-cdh5.3.6.tar.gz

解压Hive到安装目录

$ tar -xvf hive-0.13.1-cdh5.3.6.tar.gz

重命名配置文件

mv hive-default.xml.template hive-site.xml

mv hive-env.sh.template hive-env.sh

mv hive-log4j.properties.template hive-log4j.properties

hive-env.sh文件

JAVA_HOME=/usr/local/src/jdk1.8.0_121

HADOOP_HOME=/usr/local/src/hadoop-2.5.0-cdh5.3.6

export HIVE_CONF_DIR=/usr/local/src/hive-0.13.1-cdh5.3.6/conf

hive-site.xml文件

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://master:3306/metastore?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
</property>

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>username to use against metastore database</description>
</property>

<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
</property>

<!--显示数据库名称以及字段名称-->
<!-- 是否在当前客户端中显示查询出来的数据的字段名称 -->
<property>
  <name>hive.cli.print.header</name>
  <value>true</value>
  <description>Whether to print the names of the columns in query output.</description>
</property>

<!-- 是否在当前客户端中显示当前所在数据库名称 -->
<property>
  <name>hive.cli.print.current.db</name>
  <value>true</value>
  <description>Whether to include the current database in the Hive prompt.</description>
</property>

<!--简单HiveSql绕过MR配置-->
<property>
    <name>hive.fetch.task.conversion</name>
    <value>more</value>
    <description>
    Some select queries can be converted to single FETCH task minimizing latency.
    Currently the query should be single sourced not having any subquery and should not have
    any aggregations or distincts (which incurs RS), lateral views and joins.
    1. minimal : SELECT STAR, FILTER on partition columns, LIMIT only
    2. more    : SELECT, FILTER, LIMIT only (TABLESAMPLE, virtual columns)
    </description>
</property>

注意：该版本中hive-site.xml文件在2787h行附近缺少了<property>标签

hive-log4j.properties

hive.log.dir=/usr/local/src/hive-0.13.1-cdh5.3.6/logs

安装Mysql

su - root

yum -y install mysql mysql-server mysql-devel

wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

rpm -ivh mysql-community-release-el7-5.noarch.rpm

yum -y install mysql-community-server

配置Mysql

  • 开启Mysql服务

    systemctl start mysqld.service

  • 设置root用户密码

    mysqladmin -uroot password ‘123456‘

  • 为用户以及其他机器节点授权

    mysql grant all on . to [email protected]‘master‘ identified by ‘123456‘;

    grant：授权

    all：所有权限

    .：数据库名称.表名称

    root：操作mysql的用户

    @‘‘：主机名

    密码：123456

    完成之后刷新：flush privileges;

  • 拷贝数据库驱动包到Hive根目录下的lib文件夹

    cp -a mysql-connector-java-5.1.27-bin.jar /usr/local/src/hive-0.13.1-cdh5.3.6/lib/

启动Hive

bin/hive

修改HDFS系统中关于Hive的一些目录权限

/usr/local/src/hadoop-2.7.2/bin/hadoop fs -chmod 777 /tmp/

/usr/local/src/hadoop-2.7.2/bin/hadoop fs -chmod 777 /user/hive/warehouse

创建数据库

create database school;

创建表操作

create table t1(eid int, name string, sex string) row format delimited fields terminated by ‘\t‘;

导入数据到hive表

  • 从本地导入：

    load data local inpath ‘文件路径‘ into table 库名.表名;(此步骤已经将文件上传到HDFS了)

  • 从HDFS系统导入

Hive历史命令存放地

cat ~/.hivehistory

主要用于排查逻辑错误或者查看常用命令

Hive临时生效设置

固定语法：set 属性名=属性值

例如：set hive.cli.print.header=false;

hive2.1.1安装配置(代码片段)

 ##前期工作安装JDK安装Hadoop安装MySQL##安装Hive###下载Hive安装包可以从Apache其中一个镜像站点中下载最新稳定版的Hive,apache-hive-2.1.1-bin.tar.gz。解压安装Hive使用以下命令安装Hive:sudomvapache-hive-2.1.1-bin.tar.gz/optcd/optsudotar-xzvfapache-hive 查看详情

hive安装配置(代码片段)

 1、首先安装Hadoop，已安装跳过安装Hadoop步骤： https://www.cnblogs.com/jonban/p/hadoop.html 2、下载Hive，以apache-hive-1.2.2-bin.tar.gz为例，下载地址如下：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-1.2.2/a 查看详情

学习笔记hive——hive安装配置(代码片段)

...介绍环境描述4个Linux操作系统虚拟机使用centos7镜像配置安装java1.8以上版本安装Hadoop2.6.5以上版本安装MySQL5.1以上版本二、安装MySQL（这里我是CentOs7）安装教程链接：https://www.jb51.net/article/150557.htm1、安装完成后，启... 查看详情

安装hive(代码片段)

前提：已配置好Hadoop,具体跟上篇Hadoop搭建5、Hive下载安装5.1hive下载安装#下载链接https://mirror.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.9/apache-hive-2.3.9-bin.tar.gztar-xvfapache-hive-2.3.9-bin.tar.gz#mysql8的java启动jar包 查看详情

大数据技术之hive基本概念安装数据类型(代码片段)

...是Hive1.2Hive的优缺点1.3Hive架构原理1.4Hive和数据库比较2Hive安装2.1Hive安装部署2.2MySQL安装2.3Hive元数据配置到MySQL2.4使用元数据服务的方式访问Hive2.5使用JDBC方式访问Hive2.6Hive常用交互命令2.7Hive常见属性配置3Hive数据类型3.1基本数据... 查看详情

大数据技术之hive基本概念安装数据类型(代码片段)

...是Hive1.2Hive的优缺点1.3Hive架构原理1.4Hive和数据库比较2Hive安装2.1Hive安装部署2.2MySQL安装2.3Hive元数据配置到MySQL2.4使用元数据服务的方式访问Hive2.5使用JDBC方式访问Hive2.6Hive常用交互命令2.7Hive常见属性配置3Hive数据类型3.1基本数据... 查看详情

hive安装（单机版）(代码片段)

1.下载安装1.1这里选择安装的是3.1.2，使用下面命令进行下载：1#cd~/software2wgethttp://mirror.bit.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz1.2解压重命名1tar-xzvfapache-hive-3.1.2-bin.tar.gz2mvapache-hive-3.1.2-bin.tar.gzhive1.3配置环境变量使用vim编... 查看详情

安装hive(代码片段)

前提：已配置好Hadoop,具体跟上篇Hadoop搭建5、Hive下载安装5.1hive下载安装#下载链接https://mirror.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.9/apache-hive-2.3.9-bin.tar.gztar-xvfapache-hive-2.3.9-bin.tar.gz#mysql8的java启动jar包https://mirror.tuna.tsinghua.edu.cn/mysq... 查看详情

hive基础02安装hive(代码片段)

Hive基础02、安装Hive前置开启【hdfs】，六个服务都要在。start-all.shjps 安装Hive1、解压【Hive】tar-zxvfapache-hive-2.1.0-bin.tar.gz由于命名不合适，所以更换一下：mvapache-hive-2.1.0-bin/hive2、修改配置在“/opt/hive/conf”目录下拷贝... 查看详情

hadoop生态之hive(代码片段)

...5.1查询语言1.5.2数据更新1.5.3执行延迟1.5.4数据规模2.Hive的安装2.1Hive安装地址2.2Hive安装部署2.2.1安装Hive2.2.2启动并使用Hive2.3MySQL安装2.4Hive元数据配置到MySQL2.4.1拷贝驱动2.4.2配置Metastore到MySQL2.4.3再次启动Hive2.7Hive常用交互命令2.8Hive... 查看详情

学习笔记hive——hive应用——hive导入及导出数据(代码片段)

四、Hive导入及导出数据通过HDFS直接导入导出通过Hive命令导入导出4.1、Hive导入数据的语法LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]LOCAL：导入语句带有LOCALÿ 查看详情

hive-----hive的安装和使用(代码片段)

一、hive安装1.下载hive2.1-tar.gz2.解压tar-zxfhive-2.1.0.tar.gz-C/optcd/optln-shive-2.1.0hive3.配置环境变量[/etc/profile]HIVE_HOME=/soft/hivePATH=...:$HIVE_HOME/bin测试：hive--versionhive--help4.复制mysql驱动程序到hive的lib目录下。5.配置hive1)复制hive-default.xml.temp... 查看详情

hive的安装部署全过程详细版(代码片段)

...g/下载地址  http://archive.apache.org/dist/hive/ hive的安装部署Hive常用的安装分三种(注意：Hive会自动监测Hadoop的环境变量，所以在安装hive之前就必须启动Hadoop，如未安装hadoop，请移步看本人的另一篇博客地址：https://www.cnblo... 查看详情

hive入门(代码片段)

...1.4.1查询语言1.4.2数据更新1.4.3执行延迟1.4.4数据规模2Hive安装2.1Hive安装地址2.2Hive安装部署2.2.1安装Hive2.2.2启动并使用Hive2.3MySQL安装2.4Hive元数据配置到MySQL2.4.1再次启动Hive2.5使用元数据服务的方式访问Hive2.6使用JDBC方式访问Hive2.7Hive... 查看详情

安装hive(代码片段)

1.hive的下载地址，Hive版本为2.3.7https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.7/2.上传Hive3.把Hive压缩文件，解压到/usr/local中，使用以下命令：sudotar-xvfapache-hive-2.3.7-bin.tar.gz-C/usr/ 查看详情

安装hive(代码片段)

1.hive的下载地址，Hive版本为2.3.7https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.7/2.上传Hive3.把Hive压缩文件，解压到/usr/local中，使用以下命令：sudotar-xvfapache-hive-2.3.7-bin.tar.gz-C/usr/ 查看详情

hive/hbase/sqoop的安装教程(代码片段)

Hive/Hbase/Sqoop的安装教程 HIVEINSTALL1.下载安装包：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.3/2.上传到Linux指定目录，解压：mkdirhivemvapache-hive-2.3.3-bin.tar.gzhivetar-zxvfapache-hive-2.3.3-bin.tar 查看详情

安装hive3.1.2(代码片段)

下载地址：https://downloads.apache.org/hive/hive-3.1.2/解压在指定目录tar-zxvf/opt/software/apache-hive-3.1.2-bin.tar.gz-C/opt/module/mv/opt/module/apache-hive-3.1.2-bin//opt/module/hive3.1.2修改/etc/profile. 查看详情