正文

hive/hbase/sqoop的安装教程(代码片段)

dfx339  dfx339  2022-12-26  658

关键词：

Hive/Hbase/Sqoop的安装教程

HIVE INSTALL

1.下载安装包：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.3/
2.上传到Linux指定目录，解压：

mkdir hive 
mv apache-hive-2.3.3-bin.tar.gz hive
tar -zxvf apache-hive-2.3.3-bin.tar.gz
mv apache-hive-2.3.3-bin apache-hive-2.3.3

### 安装目录为：/app/hive/apache-hive-2.3.3

3.配置环境变量：
sudo vi /etc/profile
添加环境变量：

export HIVE_HOME=/app/hive/apache-hive-2.3.3
export PATH=$PATH:$HIVE_HOME/bin

:wq #保存退出

4.修改HIVE配置文件：
配置文件hive-env.sh (在原有的基础上修改，没有的项就添加)：

cd /app/hive/apache-hive-2.3.3/conf
cp hive-env.sh.template hive-env.sh
###在文件中添加如下内容-- 去掉#，并把目录改为自己设定的目录
export HADOOP_HEAPSIZE=1024
export HADOOP_HOME=/app/hadoop/hadoop-2.7.7 #hadoop的安装目录
export HIVE_CONF_DIR=/app/hive/apache-hive-2.3.3/conf
export HIVE_HOME=/app/hive/apache-hive-2.3.3
export HIVE_AUX_JARS_PATH=/app/hive/apache-hive-2.3.3/lib
export JAVA_HOME=/app/lib/jdk

创建hdfs文件目录：

cd /app/hive/apache-hive-2.3.3
mkdir hive_site_dir
cd hive_site_dir
hdfs dfs -mkdir -p warehouse #使用这条命令的前提是hadoop已经安装好了
hdfs dfs -mkdir -p tmp
hdfs dfs -mkdir -p log
hdfs dfs -chmod -R 777 warehouse
hdfs dfs -chmod -R 777 tmp
hdfs dfs -chmod -R 777 log
创建临时文件夹：
cd /app/hive/apache-hive-2.3.3
mkdir tmp

配置文件hive-site.xml (在原有的基础上修改)：
cp hive-default.xml.template hive-site.xml
vi hive-site.xml
>>配置一些数据库的信息 ConnectionURL/ConnectionUserName/ConnectionPassword/ConnectionDriverName

<!--mysql database connection setting -->
<property>
　　<name>javax.jdo.option.ConnectionDriverName</name>
　　<value>com.mysql.jdbc.Driver</value>
</property>

<property>
　　<name>javax.jdo.option.ConnectionURL</name>
　　<value>jdbc:mysql://10.28.85.149:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8</value>
</property>

<property>
　　<name>javax.jdo.option.ConnectionUserName</name>
　　<value>szprd</value>
</property>
<property>
　　<name>javax.jdo.option.ConnectionPassword</name>
　　<value>szprd</value>
</property>

>>配置hdfs文件目录

<property>
<name>hive.exec.scratchdir</name>
<!--<value>/tmp/hive</value>-->
<value>/app/hive/apache-hive-2.3.3/hive_site_dir/tmp</value>
<description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: $hive.exec.scratchdir/<username> is created, with $hive.scratch.dir.permission.</description>
</property>

<property>
<name>hive.metastore.warehouse.dir</name>
<value>/app/hive/apache-hive-2.3.3/hive_site_dir/warehouse</value>
</property>

<property>
<name>hive.exec.local.scratchdir</name>
<!--<value>$system:java.io.tmpdir/$system:user.name</value> -->
<value>/app/hive/apache-hive-2.3.3/tmp/$system:user.name</value>
<description>Local scratch space for Hive jobs</description>
</property>

<property>
<name>hive.downloaded.resources.dir</name>
<!--<value>$system:java.io.tmpdir/$hive.session.id_resources</value>-->
<value>/app/hive/apache-hive-2.3.3/tmp/$hive.session.id_resources</value>
<description>Temporary local directory for added resources in the remote file system.</description>
</property>

<property>
<name>hive.querylog.location</name>
<!--<value>$system:java.io.tmpdir/$system:user.name</value>-->
<value>/app/hive/apache-hive-2.3.3/hive_site_dir/log/$system:user.name</valu
<description>Location of Hive run time structured log file</description>
</property>


<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
<description>
Enforce metastore schema version consistency.
True: Verify that version information stored in is compatible with one from Hive jars. Also disable automatic
schema migration attempt. Users are required to manually migrate schema after Hive upgrade which ensures
proper metastore schema migration. (Default)
False: Warn if the version information stored in metastore doesn‘t match with one from in Hive jars.
</description>
</property>

修改完配置文件后，:wq 保存退出

5.下载合适版本的mysql驱动包，复制到HIVE安装目录的 lib目录下
https://dev.mysql.com/downloads/connector/j/

6.初始化数据库（在启动hive前一定要先执行这个命令哦，如果失败了，请查看数据库配置信息是否准确~ ）

cd /app/hive/apache-hive-2.3.3/bin
./schematool -initSchema -dbType mysql

7.启动hive
hive #这里配置了环境变量后，可以在任意目录下执行（/etc/profile）

8.实时查看日志启动hive命令（在hive安装目录的bin目录下执行）：

./hive -hiveconf hive.root.logger=DEBUG,console

HBASE INSTALL

1.下载hbase安装包: http://hbase.apache.org/downloads.html

2.解压： tar -zxvf hbase-1.2.6.1-bin.tar.gz

3.配置环境变量： (加在最后面)
vi /etc/profile

#HBase Setting
export HBASE_HOME=/app/hbase/hbase-1.2.6.1
export PATH=$PATH:$HBASE_HOME/bin

4.编辑配置文件： hbase-env.sh

export HBASE_MANAGES_ZK=false
export HBASE_PID_DIR=/app/hadoop/hadoop-2.7.7/pids #如果该目录不存在，则先创建
export JAVA_HOME=/app/lib/jdk #指定JDK的安装目录

编辑配置文件： hbase-site.xml
在configuration节点添加如下配置：

<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.1.202:9000/hbase</value>
</property>


<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/vc/dev/MQ/ZK/zookeeper-3.4.12</value>
</property>


<property>
<name>zookeeper.znode.parent</name>
<value>/hbase</value>
</property>


<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
<description>
Controls whether HBase will check for stream capabilities (hflush/hsync). Disable this if you intend to run on LocalFileSystem, denoted by arootdir with the ‘file://‘ scheme, but be mindful of the NOTE below.
WARNING: Setting this to false blinds you to potential data loss and inconsistent system state in the event of process and/or node failures.If HBase is complaining of an inability to use hsync or hflush it‘s most likely not a false positive.
</description>
</property>

5.启动zookeeper
进入zookeeper的安装目录下的bin目录，执行 ./zkServer.sh
然后启动客户端： ./zkCli.sh
启动成功后，输入： create /hbase hbase

6.启动hbase
进入Hbase的bin目录： ./start-hbase.sh
./hbase shell #这里启动成功后就可以开始执行hbase相关命令了
list #没有报错表示成功

7.web访问HBASE: http://10.28.85.149:16010/master-status #ip为当前服务器的ip,端口为16010

#Sqoop install
1.下载安装包： https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/

2.解压： tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

更改文件名： mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7_hadoop-2.6.0

3. 配置环境变量：/etc/profile

#Sqoop Setting
export SQOOP_HOME=/app/sqoop/sqoop-1.4.7_hadoop-2.6.0
export PATH=$PATH:$SQOOP_HOME/bin

4.将mysql的驱动包复制到 Sqoop安装目录的lib目录下

https://dev.mysql.com/downloads/connector/j/

5.编辑配置文件： sqoop的安装目录下的 conf下
vi sqoop-env.sh

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/app/hadoop/hadoop-2.7.7

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/app/hadoop/hadoop-2.7.7

#set the path to where bin/hbase is available
export HBASE_HOME=/app/hbase/hbase-1.2.6.1

#Set the path to where bin/hive is available
export HIVE_HOME=/app/hive/apache-hive-2.3.3

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/app/zookeeper/zookeeper-3.4.12

6,输入命令：

sqoop help #查看相关的sqoop命令

sqoop version #查看sqoop的版本

ps:

关于停止hbase的命令： stop-hbase.sh ,出现关于pid的错误提示时，请参考这篇博文：https://blog.csdn.net/xiao_jun_0820/article/details/35222699

hadoop的安装教程：http://note.youdao.com/noteshare?id=0cae2da671de0f7175376abb8e705406

zookeeper的安装教程：http://note.youdao.com/noteshare?id=33e37b0967da40660920f755ba2c03f0

ambari(代码片段)

参考博客:https://www.unixhot.com/article/46使用ambari快速部署hadoop集群Ambari是ApacheSoftwareFoundation中的一个顶级项目。Ambari可以创建、管理、监控Hadoop的集群。包括整个Hadoop生态圈（例如Hive，Hbase，Sqoop，Zookeeper等）。无论是初学者像快... 查看详情

怎样搭建平台

...从平台部署和数据分析过程可分为如下几步：1、linux系统安装一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。例如，可以选择给HDFS的namenode... 查看详情

ambari介绍

...op（HDFS、MapReduce），而是指Hadoop生态圈（包括Spark、Hive、Hbase，Sqoop，Zookeeper、Flume等），Ambari可以使Hadoop大数据软件查看详情

anaconda安装教程与pycharm应用(代码片段)

下载地址分享一下安装Anaconda的过程。这里博主没有去官网下载，而是去清华镜像网站下载的在这里插入代码片安装步骤这里一路绿灯即可第一项AddAnaconda是将安装路径自动添加系统环境变量。（不用去手动添加环境变量&... 查看详情

elasticsearch-7.10版本最新万字长文教程距离搞懂elk核心你只差这一片文章(代码片段)

...ELK、ES1.什么是ELK？2.什么是ElasticSearch3.ElasticSearch下载安装教程二、索引的CRUD1.创建索引2.查询某个索引信息3.查询所有索引信息4.删除索引三、文档的CRUD1.创建文档Ⅰ.随机idⅡ.自定义文档id2.查询文档Ⅰ.查询文档信息Ⅱ.全查... 查看详情

python参考：[python中使用keras深度学习库的回归教程]（http://machinelearningmastery.com/regression-tutorial-keras-(代码片

查看详情

ubuntu下vivado怎么启动

参考技术A之前安装Vivado都在win7上现在使用Win8不行了，就用Ubuntu了，下载了最新的VIvado安装包。一开始在win8下解压的，搬到ubuntu下后没有再次解压，碰到了很多问题，一会说权限不够，好吧那就sudo一下，但是还是不行，可能是... 查看详情

android逆向应用安装目录(android应用的默认安装目录|查找android应用的安装目录|查询当前正在运行的应用包名|根据包名查询应用安装路径)(代码片(代码片段)

文章目录一、Android应用的默认安装目录二、查找Android应用的安装目录1、查询当前正在运行的应用包名2、根据包名查询应用安装路径一、Android应用的默认安装目录应用安装在Android系统中后,普通应用会安装到/data/app/目录下;如果... 查看详情

android逆向应用安装目录(android应用的默认安装目录|查找android应用的安装目录|查询当前正在运行的应用包名|根据包名查询应用安装路径)(代码片(代码片段)

googleplayapk扩展包(2021年09月02日最新处理方案|内部测试链接|安装googleplay中带扩展文件的apk安装包|验证下载的扩展文件)(代码片(代码片段)

文章目录前言一、获取内部测试邀请链接二、在手机中打开内部测试邀请链接三、检查APK扩展文件前言参考【GooglePlay】内部测试版本分发设置(测试链接|配置测试权限|下载测试应用)博客内容设置分发;先把账号设置为测试账号;... 查看详情

android插件化virtualapp安装并启动资源中自带的apk插件(添加依赖库|准备插件apk|启动插件引擎|拷贝apk插件|安装插件|启动插件)(代码片(代码片段)

文章目录前言一、VirtualApp安装并启动资源中自带的APK插件流程1、依赖VirtualApp库2、插件APK准备3、启动插件引擎4、拷贝APK到存储目录5、安装插件6、启动插件二、完整源码1、自定义Application源码2、MainActivity主界面源码3、执行效... 查看详情

android插件化virtualapp安装并启动资源中自带的apk插件(添加依赖库|准备插件apk|启动插件引擎|拷贝apk插件|安装插件|启动插件)(代码片(代码片段)

如何升级到python3版本并且安装pip3及ipython3

参考技术A1、自定义编译安装python3.x版本[html]viewplaincopy在CODE上查看代码片派生到我的代码片tarJxfPython-3.5.2.tar.xzcdPython-3.5.2./configure--prefix=/usr/local/Python3make&&makeinstall2、安装pip3.x，安装会提示需要setuptools模块，所以需要先安装setup... 查看详情

如何将本地代码上传至git仓库

注意：安装的前提条件是配置好Git的相关环境或者安装好git.exe，此处不再重点提及上传的步骤：(本文采用git命令界面进行操作)（gitconfig--globaluser.email"you@example.com"gitconfig--globaluser.name"YourName"）实现登陆1.进入本地... 查看详情

安装了kinect和openni2，kinect可正常启动，但使用niviewer,显示不出图像，画面是一片空白。求解！

按照网上的教程顺利安装kinect和OpenNI2，测试kinect已经可以显示出彩色图和深度图。测试OpenNI2的NiViewer却无法显示出任何图像，画面一片空白。OpenNI2-Samples-SimpleViewer也显示的一片空白，OpenNI2-Samples-SimpleReader却能看到数据的变化。... 查看详情

elasticsearch全文检索技术一篇文章即可从入门到精通（elasticsearch安装，安装kibana，安装ik分词器，数据的增删改查，全文检索查询，聚合aggregations）(代码片(

一、Elasticsearch介绍和安装用户访问我们的首页，一般都会直接搜索来寻找自己想要购买的商品。而商品的数量非常多，而且分类繁杂。如果能正确的显示出用户想要的商品，并进行合理的过滤，尽快促成交易࿰... 查看详情

如何通过git把本地的代码上传到服务器

参考技术A注意：安装的前提条件是配置好Git的相关环境或者安装好git.exe，此处不再重点提及上传的步骤：(本文采用git命令界面进行操作)（gitconfig--globaluser.email"you@example.com"gitconfig--globaluser.name"YourName"）实现登陆1... 查看详情

android逆向修改运行中的android进程的内存数据(运行环境搭建android模拟器安装|拷贝android平台可执行文件和动态库到/data/system)(代码片(代码片段)

文章目录一、运行环境搭建Android模拟器安装二、拷贝Android平台可执行文件和动态库到/data/system目录下一、运行环境搭建Android模拟器安装使用低版本的雷电模拟器调试应用,下载地址https://www.ldmnq.com/other/version-history-and-release-notes.... 查看详情