关键词：

Hive llap服务安装说明及测试

参考：https://www.cnblogs.com/hdpdriver/p/7642729.html

1.简介说明

从Hive 2.0引入了LLAP（Live Long And Process），2.1进行了比较大的优化，可以说hive已经走向了内存计算，

目前hortonworks测试llap +tez比hive1.x快了25倍，禁不住诱惑来玩一下

2.LLAP安装

2.1依赖

Hive llap服务安装依赖先安装tez，和slider，所以安装llap前先安装并测试好tez和slider；

2.2配置

   Ambari安装好之后，还需要额外的两个步骤来开启Hive LLAP:

      1.在yarn中开启Hive LLAP的优先使用权

　   2.打开hive中的Interactive Query开发并配置相关参数

以下是hive-site.xml配置

<!--llap configuration-->
  <property>
     <name>hive.execution.engine</name>
     <value>tez</value>
  </property>


  <!--目前llap只支持tez做为引擎-->
  <property>
     <name>hive.llap.execution.mode</name>
     <value>all</value>
  </property>
   <!-- 有这四个auto, none, all, map选项，表示是否在llap或者container里运行查询，all表示让所有的task都在llap进程内执行-->
  <property>
     <name>hive.execution.mode</name>
     <value>llap</value>
  </property>

 <!-- 两个选项[container, llap]，表示查询运行在container或者llap-->
  <property>
     <name>hive.llap.daemon.service.hosts</name>
     <value>@llap_service</value>
  </property>

<!--  llap_service是启动llap服务的时候--name指定的名字，可根据情况来设置-->
  <property>
     <name>hive.zookeeper.quorum</name>
     <value>hd21:2181,hd22:2181,hd23:2181</value>
  </property>

  <property>
     <name>hive.llap.daemon.memory.per.instance.mb</name>
     <value>25600</value>
  </property>

  <!-- LlapDaemon内存,需要在这里指定，hive --service --instances指定遇到过失败-->
  <property>
     <name>hive.llap.daemon.num.executors</name>
     <value>8</value>
  </property>

 

  <!-- LlapDaemon core数-->

 

  <!--如下是HiveServer2的参数，用来启用llap的并发查询-->
  <property>
     <name>hive.server2.tez.default.queues</name>
     <value>root.storm</value>
  </property>

  <property>
     <name>hive.server2.tez.initialize.default.sessions</name>
     <value>true</value>
  </property>

  <property>
     <description>Set to the number of concurrent queries to run on the queues that      

           are configured by hive.server2.tez.default.queues. This setting launches

           long-running Tez AMs (sessions).
     </description>
     <name>hive.server2.tez.sessions.per.default.queue</name>
     <value>2</value>
  </property>

2.3特殊注意

   先检查python版本，别低于2.5最好2.7.X吧，然后进入hive2.1.1主目录下的scripts/llap/bin目录下，

　编辑runLlapDaemon.sh启动脚本，在CLASSPATH变量中加入`hadoop classpath`，即加入hadoop的环境路径，

　避免出现找不到相关类库的而导致的启动失败，如下：

3.启动服务

hive --service llap --name llap_service --instances 5 --size 25g --loglevel INFO  --cache 10g --executors 10 --iothreads 10 --slider-am-container-mb 1024 --args " -XX:+UseG1GC -XX:+ResizeTLAB -XX:+UseNUMA -XX:-ResizePLAB"

启动服务的选项如下：

启动成功:

启动后会生成一个如下的文件夹：

进入可以看到有四个文件

其中run.sh这个启动shell就只是用slider来提交llap到yarn的脚本./run.sh即可启动到yarn中，启动后，可以看到yarn中的application如下：

RUNNING状态表示启动运行成功；

查看nodemanager节点可以看到有相应的daemon进程如下：

启动tez作业如下：

查看tez作业AM的资源情况可以看到tez的task都运行在llap中，只有am独立container运行；
从性能效率看，llap确实有了明显的提升，一个分区聚合数据和union相应另一个分区操作，数据100g，从资源时间消耗资源角度看资源减少了2倍，执行时间效率上提升了6倍，后面有空可以参照tpc-ds_v2.4.0做一些较全面的性能测试；

停止llap只用执行slider stop llap_service即可；

tensorflow目标检测api安装及测试(代码片段)

1.环境安装配置1.1安装tensorflow　　安装tensorflow不再仔细说明，但是版本一定要是1.91.2下载TensorflowobjectdetectionAPI 　　下载地址：https://github.com/tensorflow/models1.3 Protobuf 的安装与配置　　（1）下载地址：https://github.com/goo... 查看详情

linux内存cpu及磁盘空间测试工具(代码片段)

一、内存测试工具1.目的测试当服务器内存空间使用率超过一定范围时，系统是否触发告警。2.测试方法1.Ubuntu服务器编译c代码 若服务器无编译c代码的gcc命令，需先安装gcc（若已安装可跳过此步骤）#安装gccsudoapt-... 查看详情

cobbler图文详解安装及遇到的问题说明(代码片段)

...使用Python开发的开源项目，通过将部署系统所涉及的所有服务集中在一起，来提供一个全自动批量快速建立linux系统的网络环境，Cobbler提供了DHCP管理，YUM管理，电源管理等功能，除此之外还支持命令行管理，WEB界面管理，cobbler... 查看详情

strongswan配置运行及测试(代码片段)

...的对接场景。3.     配置配置文件默认安装在/usr/local/etc目录，说明如下：1、通用的配置文件为strongswan.conf，及strongswan.d目录下文件；2、Usedbyswanctlandthepreferredviciplugin：     //推荐使用需要配... 查看详情

activemq讲解及实战(代码片段)

...装jdk环境activeMQ免安装下载完成后在./bin/activemqstart:启动服务./bin/activemqstop:停止服务./bin/activemqrestart:重启服务####使用说明##com.abel.main包下 查看详情

hivellap调优：每个守护程序的内存和堆大小计算(代码片段)

我正在调整我的具有HiveLLAP的集群，根据以下链接，https://community.hortonworks.com/articles/215868/hive-llap-deep-dive.html我需要计算heapsize的值，但不确定*的含义是什么？我还有一个问题，关于如何计算hive.llap.daemon.yarn.container.mb的值，然后... 查看详情

mha安装及测试(代码片段)

MHA安装官方介绍准备工作1.下载安装包2.配置好主从主：192.168.160.132从：192.168.160.133192.168.160.134mha：192.168.160.135GRANTSUPER,REPLICATIONSLAVE,REPLICATIONCLIENTON*.*TO‘replication_user‘@‘192.168.160.%‘IDENTIFIEDBY‘123456 查看详情

mycat教程——mycat使用教程及分片方法案例(代码片段)

...mycat安装后,开始一个示例来尽快熟悉mycat一、环境说明1.服务器说明服务器名称地址说明mycat服务器10.211.55.13mycat中间件服务器mysql服务器10.211.55.9mysql服务器2.mysql库和表说明库名称说明db01只有一个user表db02item表db03item表db02,db03上的... 查看详情

markdown从testflight邀请安装测试版的说明(代码片段)

查看详情

haproxy安装配置及说明

...aproxy调度方法说明四、hash-type说明五、架构说明六、基本安装及配置说明(roundrobin调度)七、URI调度测试八、HDR调度测试九、基于cookie的session绑定测试十、状态页面测试（参数说明来自官网，如有出入，以官网为主）一、HAProxy说... 查看详情

pythoncv2安装及测试(代码片段)

pythoncv2安装及测试​由于数学建模国赛2013B题了解到opencv，遂记录一.安装1.参考教程pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simpleopencv-python👉参考教程链接​是看到评论区里的兄弟写的2.powershell安装3.检查是否装好piplistpiplist... 查看详情

linux系统下安装rz/sz命令及使用说明(代码片段)

Linux系统下安装rz/sz命令及使用说明1.软件安装1）编译安装root账号登陆后，依次执行以下命令：cd/tmpwgethttp://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gztarzxvflrzsz-0.12.20.tar.gz&&cdlrzsz-0.12.20cdlrzsz-0.12.20./configure&&a 查看详情

python的安装及小程序练习(代码片段)

Python1.Python的安装教程(1)进入Python官网(2)双击Python-3.6.4.exe安装程序，勾选AddPython3.6toPATH(3)选择自定义安装。(4)指定安装位置(5)测试安装。打开CMD窗口，执行Python命令，输出版本等信息说明安装成功python作业小明身高1.75m，体重80.5... 查看详情

swoole安装及测试示例(代码片段)

swoole安装方案一：MAC本地安装官方安装命令：peclinstallswoole下载PECL：安装PECL：安装swoole：问题1:/tmp/pear/installwu无权限解决：sudochmod0777/tmp/pear/install问题2:channel“pecl.php.net”hasupdat 查看详情

redis-01.安装及测试(代码片段)

1.安装官网：http://redis.io下载地址：http://redis.io/download本篇版本Redis3.0.4：http://download.redis.io/releases/redis-3.0.4.tar.gz1.1安装gcc#yuminstallgcc1.2安装tcl#yum-yinstalltcl1.3下载Redis安装包#c 查看详情

sparkstandalone集群安装及测试案例(代码片段)

SparkStandalone集群安装及测试案例一、实验环境二、总体步骤三、详细步骤一、实验环境二、总体步骤准备至少3台主机修改主机名称及IP与主机名的映射关系（3台主机都需要操作）做免密登录操作（3台主机都需操作... 查看详情

jenkins——持续集成介绍及jenkins安装部署（插件+用户权限+凭据+maven打包）(代码片段)

...安装和持续集成环境配置持续集成流程说明Gitlab代码托管服务器安装Gitlab添加组、创建用户、创建项目源代码上传至Gitlab服务器Jenkins服务器安装Jenkins服务器安装Jenkins插件管理Jenkins用户权 查看详情

docker说明及安装(代码片段)

1.理解docker1.1docker是什么Docker是一个开源的应用容器引擎，你可以将其理解为一个轻量级的虚拟机，开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上。1.2为什么要使用do... 查看详情