正文 

当前位置： 首页 > 程序 > java教程

impala安装

hellodev hellodev     2022-12-01     112

关键词：

安装规划

   

服务名称

Node01

Node02

Node03

impala-catalog

安装

不安装

不安装

impala-state-store

安装

不安装

不安装

impala-server

安装

安装

安装

impala

安装

安装

安装

   

安装impala

主节点node01执行以下命令进行安装

[root@hadoop01 ~]# yum install impala -y

[root@hadoop01 ~]# yum install impala-server -y

[root@hadoop01 ~]# yum install impala-state-store -y

[root@hadoop01 ~]# yum install impala-catalog -y

[root@hadoop01 ~]# yum install bigtop-utils -y

[root@hadoop01 ~]# yum install impala-shell -y

   

   

   

   

从节点node02和node03上安装以下服务

在node02上执行安装

[root@hadoop02 ~]# yum install impala-server -y

[root@hadoop02 ~]# yum install bigtop-utils -y

在node03上执行安装

[root@hadoop03 ~]# yum install impala-server -y

[root@hadoop03 ~]# yum install bigtop-utils -y

   

impala配置

   

impala依赖于hive，所以首先需要进行hive的配置修改；

[root@hadoop01 hive]# cd /usr/local/hive/conf/

node1机器修改hive-site.xml内容如下:

[root@hadoop01 hive]# vim hive-site.xml

<configuration>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://node1:3306/hive?

createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

</property>

<property>

<name>hive.cli.print.current.db</name>

<value>true</value>

</property>

<property>

<name>hive.cli.print.header</name>

<value>true</value>

</property>

<property>

<name>hive.server2.thrift.bind.host</name>

<value>node01</value>

</property>

<property>

<name>hive.metastore.uris</name>

<value>thrift://node01:9083</value>

</property>

<property>

<name>hive.metastore.client.socket.timeout</name>

<value>3600</value>

</property>

</configuration>

   

将配置好的配置文件发送到其他两个服务器节点上

[root@hadoop01 conf]# scp -r hive-site.xml node02:$PWD

[root@hadoop01 conf]# scp -r hive-site.xml node03:$PWD

   

添加mysql的jar包放入hive的lib目录下

   

启动hive的metastore服务

[root@hadoop01 lib]# cd /usr/local/hive/

[root@hadoop01 hive]#nohup bin/hive --service metastore &

注意：一定要保证mysql的服务正常启动，否则metastore的服务不能够启动

   

所有hadoop节点修改hdfs-site.xml添加以下内容

所有节点创建文件夹

[root@hadoop01 ~]# mkdir -p /usr/local/hadoop-2.6.0-cdh5.14.0/run/hdfs-sockets

[root@hadoop02 ~]# mkdir -p /usr/local/hadoop-2.6.0-cdh5.14.0/run/hdfs-sockets

[root@hadoop03 ~]# mkdir -p /usr/local/hadoop-2.6.0-cdh5.14.0/run/hdfs-sockets

   

修改所有节点的hdfs-site.xml添加以下配置，修改完之后重启hdfs集群生效

[root@hadoop01 soft-manager]# cd /usr/local/hadoop-2.6.0-cdh5.14.0/

[root@hadoop01 hadoop-2.6.0-cdh5.14.0]# cd etc/hadoop/

[root@hadoop01 hadoop]# vim hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<property>

<name>dfs.blocksize</name>

<value>134217728</value>

</property>

   

<property>

<!--短路读取--就是允许impala把一些信息存储在本地磁盘上，可以加快计算的速度-->

<name>dfs.client.read.shortcircuit</name>

<value>true</value>

</property>

<property>

<!--打开"块位置的存储的元数据信息"-->

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.domain.socket.path</name>

<value>/usr/local/hadoop-2.6.0-cdh5.14.0/run/hdfs-sockets/dn</value>

<!--Datanode和DFSClient之间沟通的Socket的本地路径套接口文件-->

</property>

<property>

<!---->

<name>dfs.client.file-block-storage-locations.timeout.millis</name>

<value>10000</value>

</property>

   

</configuration>

   

将配置好的配置我呢见拷贝到其他两台服务器

[root@hadoop01 hadoop]# scp -r hdfs-site.xml node02:$PWD

[root@hadoop01 hadoop]# scp -r hdfs-site.xml node03:$PWD

   

创建hadoop与hive的配置文件的连接

   

impala的配置目录为 /etc/impala/conf

这个路径下面需要把core-site.xml，hdfs-site.xml以及hive-site.xml拷贝到这里来，但是这里使用软连接的方式会更好。

在node01服务器上创建三个配置文件的软连接

[root@hadoop01 hadoop]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/

[root@hadoop01 hadoop]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf

[root@hadoop01 hadoop]# ln -s /usr/local/hive/conf/hive-site.xml /etc/impala/conf

   

在node02服务器上创建三个配置文件的软连接

[root@hadoop02 local]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/

[root@hadoop02 local]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf

[root@hadoop02 local]# ln -s /usr/local/hive/conf/hive-site.xml /etc/impala/conf

   

在node03服务器上创建三个配置文件的软连接

[root@hadoop03 ~]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/

[root@hadoop03 ~]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf

[root@hadoop03 ~]# ln -s /usr/local/hive/conf/hive-site.xml /etc/impala/conf

   

   

所有节点修改impala默认配置

   

在node01服务器更改impala默认配置文件

[root@hadoop01 hadoop]# vim /etc/default/impala

#指定集群的CATALOG_SERVICE和STATE_STORE服务地址

IMPALA_CATALOG_SERVICE_HOST=node01

IMPALA_STATE_STORE_HOST=node01

   

在node02服务器更改impala默认配置文件

[root@hadoop02 hadoop]# vim /etc/default/impala

#指定集群的CATALOG_SERVICE和STATE_STORE服务地址

IMPALA_CATALOG_SERVICE_HOST=node01

IMPALA_STATE_STORE_HOST=node01

   

在node03服务器更改impala默认配置文件

[root@hadoop03 hadoop]# vim /etc/default/impala

#指定集群的CATALOG_SERVICE和STATE_STORE服务地址

IMPALA_CATALOG_SERVICE_HOST=node01

IMPALA_STATE_STORE_HOST=node01

   

修改配置如下图所示

   

   

所有节点创建mysql的驱动包的软连接

   

[root@hadoop01 ~]# ln -s /usr/local/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java

[root@hadoop02 ~]# ln -s /usr/local/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java

[root@hadoop03 ~]# ln -s /usr/local/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java

   

所有节点修改bigtop的java路径

在node01上修改bigtop的java_home路径

[root@hadoop01 hadoop]# vim /etc/default/bigtop-utils

export JAVA_HOME=/usr/local/java/jdk1.8.0_201

   

在node02上修改bigtop的java_home路径

[root@hadoop02 hadoop]# vim /etc/default/bigtop-utils

export JAVA_HOME=/usr/local/java/jdk1.8.0_201

   

在node03上修改bigtop的java_home路径

[root@hadoop03 hadoop]# vim /etc/default/bigtop-utils

export JAVA_HOME=/usr/local/java/jdk1.8.0_201

   

   

   

启动impala服务

在主节点node01启动以下三个服务进程

[root@hadoop01 ~]# service impala-state-store start

[root@hadoop01 ~]# service impala-catalog start

[root@hadoop01 ~]# service impala-server start

   

在从节点node02和node03上启动impala-server

[root@hadoop02 ~]# service impala-server start

[root@hadoop03 ~]# service impala-server start

查看impala进程是否存在

[root@hadoop01 ~]# ps -ef | grep impala

[root@hadoop02 ~]# ps -ef | grep impala

[root@hadoop03 ~]# ps -ef | grep impala

   

注意：启动之后所有关于impala的日志默认都在/var/log/impala 这个路径下，node01机器上面应该有三个进 程，node02与node03机器上面只有一个进程，如果进程个数不对，去对应目录下查看报错日志

   

浏览器页面访问

   

访问impalad的管理界面http://node01:25000/

   

访问statestored的管理界面http://node01:25010/

   

访问catalogd 的管理界面http://node01:25020/

   

将impala与kudu整合

   

在每一个服务器的impala的配置文件中添加如下配置：

在node01节点上修改配置文件impala

[root@hadoop01 hadoop]# vim /etc/default/impala

-kudu_master_hosts=node01:7051,node02:7051,node03:7051

在node02节点上修改配置文件impala

[root@hadoop02 hadoop]# vim /etc/default/impala

-kudu_master_hosts=node01:7051,node02:7051,node03:7051

在node03节点上修改配置文件impala

[root@hadoop03 hadoop]# vim /etc/default/impala

-kudu_master_hosts=node01:7051,node02:7051,node03:7051

   

   

 

   转自：https://www.cnblogs.com/starzy/p/10563572.html

impala安装mac os指导

】impala安装macos指导【英文标题】：Guidancewithimpalainstallationmacos【发布时间】：2015-12-3019:08:38【问题描述】：官方的impala安装包括用于在linux系统上安装impala的apt-get，有什么方法可以在mac上brew（或任何其他方式）impala包，运行yose... 查看详情

什么是impala，如何安装使用impala

参考技术AImpala简介：ClouderaImpala对你存储在ApacheHadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（HiveSQL），ODBC驱动程序和用户界面（HueBeeswax）。Impala还提... 查看详情

什么是impala，如何安装使用impala

参考技术A一、Impala简介ClouderaImpala对你存储在ApacheHadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（HiveSQL），ODBC驱动程序和用户界面（HueBeeswax）。Impala还... 查看详情

什么是impala，如何安装使用impala

参考技术A一、Impala简介ClouderaImpala对你存储在ApacheHadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（HiveSQL），ODBC驱动程序和用户界面（HueBeeswax）。Impala还... 查看详情

什么是impala，如何安装使用impala

参考技术A一、Impala简介ClouderaImpala对你存储在ApacheHadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（HiveSQL），ODBC驱动程序和用户界面（HueBeeswax）。Impala还... 查看详情

什么是impala，如何安装使用impala

参考技术A一、Impala简介ClouderaImpala对你存储在ApacheHadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（HiveSQL），ODBC驱动程序和用户界面（HueBeeswax）。Impala还... 查看详情

如何在 Ubuntu 上安装 Impala？ [关闭]

】如何在Ubuntu上安装Impala？[关闭]【英文标题】：HowtoinstallImpalaonUbuntu?[closed]【发布时间】：2018-09-2516:08:46【问题描述】：我想在Ubuntu实例上安装Impala。到目前为止，以下方法都没有奏效。如何在Ubuntu中安装稳定版本的Impala？方... 查看详情

七十二impala的简介与安装部署(代码片段)

咱们前面几篇文章穿插了些CDH的内容，因为咱们的Impala的安装是基于CDH的，所以提前将如何部署安装CDH讲解了一下。本文我们来看一下Impala的相关知识。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目... 查看详情

在 Amazon EMR 上安装 Impala 2.3

】在AmazonEMR上安装Impala2.3【英文标题】：InstallingImpala2.3onAmazonEMR【发布时间】：2016-03-1711:06:17【问题描述】：我看到Impala2.3仅在ClouderaCDH5.5及更高版本上受支持。Impala2.2可以安装在AmazonEMR上，因为GitHub上有可用的Bootstrap脚本并且... 查看详情

impala安装(代码片段)

1、集群准备1.1、安装Hadoop,HiveImpala的安装需要提前装好Hadoop，Hive这两个框架hive需要在所有的Impala安装的节点上面都要有，因为Impala需要引用Hive的依赖包hadoop的框架需要支持C程序访问接口，查看下图，如果有该路... 查看详情

在 mac os x 上安装 cloudera impala shell 并连接到 impala 集群

】在macosx上安装clouderaimpalashell并连接到impala集群【英文标题】：installclouderaimpalashellonmacosxandconnecttoimpalacluster【发布时间】：2015-04-1923:10:35【问题描述】：我们在prod上有impala服务器，我需要使用带有macosx(10.8)的本地macbook上的impa... 查看详情

impala(代码片段)

Impala简介Impala是基于Hive的大数据查询引擎，直接使用Hive的元数据库metadata，意味着Impala元数据都存储在Hive的metastore中，并且Impala兼容Hive的绝大多数sql语法，所以需要安装Impala的话，必须先安装Hive，保证HI... 查看详情

impala部署和架构

IMPALA部署和架构(一) 一，概要因公司业务需求，需要一个查询引擎满足快速查询TB级别的数据，所以我们找到了presto和impala，presto在前面讲过今天只说impala，impala是cloudera公司主导开发的新型查询系统，impala没有在使用缓慢的... 查看详情

在 Amazon EMR 4.1 和 Amazon EC2 上安装 Impala

】在AmazonEMR4.1和AmazonEC2上安装Impala【英文标题】：InstallingImpalaonAmazonEMR4.1andAmazonEC2【发布时间】：2016-02-2415:24:18【问题描述】：我想知道我们可以在AmazonEMR4.1/4.2或AmazonEC2上安装Impala2.1吗？请提出任何在AmazonEMR或EC2上设置Impala2.1... 查看详情

在没有 cloudera manager 的情况下安装 cloudera impala

】在没有clouderamanager的情况下安装clouderaimpala【英文标题】：Installingclouderaimpalawithoutclouderamanager【发布时间】：2013-06-1711:33:43【问题描述】：请提供在没有cloudera管理器的ubuntu中安装imapala的链接。无法通过官方链接安装。无法使... 查看详情

无法在 Ambari 服务器中安装 Impala

】无法在Ambari服务器中安装Impala【英文标题】：NotabletoinstallImpalainAmbariServer【发布时间】：2017-05-2213:32:33【问题描述】：我已经在我的CentOS服务器上安装了Ambari服务器。我想从Hive读取实时数据，所以我正在尝试安装Impala，但我... 查看详情

为 RODBC 安装 Cloudera Impala ODBC 驱动程序

】为RODBC安装ClouderaImpalaODBC驱动程序【英文标题】：InstallingClouderaImpalaODBCdriversforRODBC【发布时间】：2015-03-2222:24:19【问题描述】：我已尝试非常仔细地按照安装指南在Mac上为R设置ImpalaClouderaODBC驱动程序，但不断收到以下错误消... 查看详情

Hadoop 1.0.4 上的 Impala

】Hadoop1.0.4上的Impala【英文标题】：ImpalaonHadoop1.0.4【发布时间】：2014-06-0604:56:05【问题描述】：我正在尝试在我的linux机器上处理impala。我的不是cloudera发行版。我单独安装了Hadoop、Hive、HBase等组件。这里是版本Hadoop-1.0.4HBase-0.94.... 查看详情