正文 

当前位置： 首页 > IT > java教程

hive与优化方法(代码片段)

oahaijgnahz oahaijgnahz     2022-11-23     396

关键词：

Hive与优化方法

文章目录

Java、大数据开发学习要点（持续更新中…）

一、Hive概念

  Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。其本质是，将HQL转化成MapReduce程序。底层数据存储在HDFS上，由于延迟较大所以一般适用于离线大批量的数据计算和分析。

二、Hive架构

  1. 用户接口Client：
    CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）
  2. 元数据Metastore：
    元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore。
  3. Hadoop：
    使用HDFS进行存储，使用MapReduce进行计算。
  4. 驱动器Driver(Hive执行过程)：
    • 解析器（SQL Parser）：将SQL字符串(shell命令行、JDBC、Web)转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，根据MetaStore中的元数据信息判断SQL语句的合法性，比如表是否存在、字段是否存在、SQL语义是否有误。
    • 编译器（Physical Plan）：将抽象语法树编译生成逻辑执行计划。
    • 优化器（Query Optimizer）：对逻辑执行计划进行优化。
    • 执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划存储在HDFS上由计算引擎进行调用。对于Hive来说，就是MR/Spark任务。

三、Hive与数据库的比较

  Hive 和数据库除了拥有类似的查询语言，再无类似之处。其实记住Hive是数仓工具就可以将其与数据库区别开来。

  • Hive与传统数据库的区别：
  1. 数据更新：由于Hive是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不建议对数据的改写，所有的数据都是在加载的时候确定好的。而数据库中的数据通常是需要经常进行更新。
  2. 数据查询：传统数据库数据由于索引的存在，在数据量较小的情况下查询较快，并且自己提供执行引擎。而Hive数据查询是整表或者分区表的扫描，只有在大数据情况下分布式运算才有优势，依靠MR或Spark来执行。
  3. 数据存储：Hive数据存储没有固定的格式，用户可以自己指定存储的格式(Parquet、SequenceFile等)，并自己指定压缩格式(Snappy、ORC)。数据库的存储引擎定义了自己的存储格式。
  • Hive与HBase的区别：
    其实没有什么可以比较的。HBase是一个分布式列簇式存储KV数据库，Hive是一个数仓工具。Hive擅长于大数据离线计算和分析，而HBase则是提供快速数据写入和查询的数据库应用在实时查询的场景。

四、Hive中一些重要的概念

4.1 内部表和外部表

  内部表生命周期是受Hive控制的，删除内部表则数据和元数据都会被删除；将数据导入外部表，数据并不会移动，即使删除外部表，只是删除外部表元数据，而原来的数据还是会存在。

使用的例子，HDFS定期收到用户行为日志文件，在日志文件上建立外部表，中间表和结果表则以内部表的形式存储。

4.2 分区表

  分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive根据某列或者某些列的值(这些列在表中并不真实存在)将数据分区，放在表文件夹下不同子文件夹中存储。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。

  • 静态分区和动态分区：
  1. 静态分区：在建表中指定分区条件，数据导入或者插入时需要指定分区。
  2. 动态分区：按照某个或某些字段的值不同自动地进行分区，底层实际是利用MapReduce的mutipleOutputs(根据条件判断，将结果写入不同目录不同文件）。
  3. 静态分区必须在动态分区前。
  • 分区的注意事项：
    Hive分区过多，导致每个分区的文件小，会导致HDFS小文件过多的问题。
    （1）小文件数量过多造成NameNode负担过大。
    （2）Hive运行Mapreduce时，每个block对应一个切片，而小文件则会直接对应一个map任务，使得map任务过多使得运行效率低下(Yarn频繁申请销毁容器)。

4.3 Hive排序关键字

  1. ORDER BY：全局排序，强制只有一个Reducer，但是当数据规模较大时，会导致消耗较长的计算时间。

  2. SORT BY：局部排序，每个task内部排序，使得reduce结果都是局部有序的。

  3. DISTRIBUTE BY：类似MR中的Partition分区器，根据某一列进行分区。使用DISTRIBUTE BY+SORT BY来实现分桶排序查询，如：

    hive (default)> set mapreduce.job.reduces=3;
--根据col1进行分区，再根据col2进行分区内的降序排序
hive (default)> select col1,col2 
				from emp distribute by col1 sort by col2 desc;

  4. CLUSTER BY：当DISTRIBUTE BY和SORT BY字段相同时，可以使用CLUSTER BY代替，但只能升序排列。

4.4 Hive分桶

  对Hive表分桶可以将表中数据按分桶键的哈希值散列到多个文件中，这些小文件称为桶。

表分区是用不同的子文件夹管理不同的数据；而表分桶用不同的文件管理不同的数据。

  • 分桶的好处：
  1. join两个相同分桶划分的表时可以使用map-side join，优化join查询。
  2. 根据某些列进行分桶可以使Hive查询时利用分桶的结构加快查询效率。
  3. 对于非常大的数据集，有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。Hive可以通过对表进行抽样来满足这个需求。而分桶的结构恰好满足抽样所需的数据结构，使得抽样更加高效。

4.5 三种排序窗函数的区别

  • RANK() n个排序相同时排名会重复，但下一个排名会跳跃至n个名次开始。(跳跃)
  • DENSE_RANK() n个排序相同时排名会重复，但下一个排名继续上一个排名加1开始。(连续)
  • ROW_NUMBER() 会根据顺序依次编号。

4.6 Hive解析MR的Reduce数量的确定

hive有两个参数设定：hive.exec.reducers.bytes.per.reducer(下称参数1)和hive.exec.reducers.max(下称参数2)

hive解析成MR后的Reduce数量则是N = min(参数2,任务总数据量/参数1)，默认参数1是1G。

4.7 Hive的存储格式

  • text：默认存储格式，普通的文本文件，数据不压缩，磁盘的开销比较大，分析开销大。
  • Parquet：一种行式存储格式，具有很好的压缩性能；同时可以减少大量的表扫描和反序列化的时间。
  • ORC：Hive/Spark都支持这种存储格式，它存储的方式是数据按行分块，每个块按列存储，其中每个块都存储有一个索引。特点是数据压缩率非常高。

五、Hive调优

5.1 部分场景下尽可能避免启用MR

由于MapReduce的启动任务调度通常在数据集小的情况下耗时比job本身时间要长。所以Hive在有些场景下可以尽量避免启动MR来执行任务。比如数据抓取(Fetch)在全表数据获取、字段查找、limit查找的情况下可以不走MapReduce；再比如数据集较小的情况下，开启本地模式单机处理所有任务也能比走集群计算得到更好的时间效率。

5.2 表的优化

  • 小表JOIN大表：
  1. JOIN有个特点是其中一个表需要作为全量读取的表先加载至内存，所以小表写在JOIN左边(当然这点Hive的开发者已经对此进行了优化)。
  2. 小表JOIN大表的情况下，尽量使用map-side join，将小表广播到大表所在的map任务中，以减少小表shuffler所带来的IO开销。
  • 大表JOIN大表：
  1. 要注意的是大表的数据量基本都比较大，JOIN容易出现reducer的OOM，所以要注意JOIN前数据的过滤与某些空key数据产生的数据倾斜问题(随机赋值)。

  • 替换COUNT DISTINCT去重统计
    COUNT DISTINCT通过一个Reducer来完成去重统计，在数据量巨大的场景下效率低下。将COUNT DISTINCT用两阶段进行替换：先GROUP BY再开启一个任务进行COUNT。

  • 避免笛卡尔积
    表的无条件JOIN(没有指定ON条件，或条件无效)，Hive只能用一个Reducer完成，效率极其低下。

  • 行过滤
    在表的JOIN关联中，将附表的过滤作为子查询写在ON条件之前，否则会导致先关联再过滤的问题产生。

5.3 数据倾斜优化

  1. map-side join来缓解数据倾斜问题
    如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用Map-side Join把小表全部加载到内存在Map端进行join，避免Reducer处理。(参数设置set hive.auto.convert.join = true;默认是true)

  2. Group by开启Map端预聚合
    默认情况下，Map阶段同一Key数据分发给一个Reducer，当一个key数据过大时就倾斜了。并不是所有的聚合操作都需要在Reduce端完成，很多聚合操作都可以先在Map端进行部分聚合，最后在Reduce端得出最终结果。两个参数hive.map.aggr = true(默认) 和 hive.groupby.skewindata = true(非默认)，分别是开启Map端预聚合和数据倾斜时进行负载均衡。

    当选项设定为 true，生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job再根据预处理的数据结果按照Group By的Key分布到Reducer中（这个过程可以保证相同的Key被分布到同一个Reducer中），最后完成最终的聚合操作。

  3. 合理设置Map任务数和Reduce任务数

  • 合理的Map任务数：

    1. 每个小文件对应一个Map任务是不明智的，导致Map任务数过多，且任务启动调度的时间远大于任务逻辑执行的时间。
    2. 每个Map的大小接近128M呢？则会使得单个Map任务的执行时间过长。

    所以，Map任务需要按照场景进行调整，小文件多的情况下减少Map任务并设置Hive的InputFormat为CombineHiveInputFormat；而文件较大的情况下，增加Map数量来分担单文件大数据量的计算压力。

  • 合理的Reduce任务数：

    与Map任务类似，Reducer数量也要合理，太多增大调度资源和小文件的产生，过少单个Reduce任务执行时间过长。

5.3 其他优化

  1. 并行执行：
    Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并行执行的，这样可能使得整个job的执行时间缩短。不过，如果有更多的阶段可以并行执行，那么job可能就越快完成。

  2. 严格模式：

    1. 对于分区表，除非where语句中含有分区字段过滤条件来限制范围，否则不允许执行。换句话说，就是用户不允许扫描所有分区。进行这个限制的原因是，通常分区表都拥有非常大的数据集，而且数据增加迅速。没有进行分区限制的查询可能会消耗令人不可接受的巨大资源来处理这个表。
    2. 对于使用了order by语句的查询，要求必须使用limit语句。因为order by为了执行排序过程会将所有的结果数据分发到同一个Reducer中进行处理，强制要求用户增加这个LIMIT语句可以防止Reducer额外执行很长一段时间。
    3. 限制笛卡尔积的查询。对关系型数据库非常了解的用户可能期望在执行JOIN查询的时候不使用ON语句而是使用WHERE语句，这样关系数据库的执行优化器就可以高效地将WHERE语句转化成那个ON语句。不幸的是，Hive并不会执行这种优化，因此，如果表足够大，那么这个查询就会出现不可控的情况。

  3. JVM重用：

    JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数任务执行时间都很短。

  4. 合理压缩：

    比如使用Parquet列式存储数据，这种格式按列存储数据，没列数据类型相同，天然对压缩友好，建议可以使用Parquet(ORC)存储格式+Snappy压缩格式的组合。

hive的支持的文件类型与压缩格式(代码片段)

...L查询一：mapreduce的压缩-mapreduce压缩主要是在shuffle阶段的优化。shuffle端的--partition（分区）--sort（排序）--combine(合并)--compress(压缩)--group（分组）在mapreduce优化shuffle从本质上 查看详情

打怪升级之小白的大数据之旅(六十九)＜hive旅程第十站:hive的优化＞(代码片段)

...怪升级之小白的大数据之旅(六十九)Hive旅程第十站:Hive的优化上次回顾上一章介绍了Hive的压缩与存储格式，本章节是Hive的一起其他优化方法Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算从hive学... 查看详情

hive参数与性能企业级调优(代码片段)

...的一些方法及技巧。Hive性能调优的方式为什么都说性能优化这项工作是 查看详情

hive参数与性能企业级调优(代码片段)

...的一些方法及技巧。Hive性能调优的方式为什么都说性能优化这项工作是比较难的，因为一项技术的优化，必然是一项综合性的工作，它是多门技术的结合。我们如果只局限于一种技术，那么肯定做不好优化的。下... 查看详情

hive参数与性能企业级调优(代码片段)

...的一些方法及技巧。Hive性能调优的方式为什么都说性能优化这项工作是比较难的，因为一项技术的优化，必然是一项综合性的工作，它是多门技术的结合。我们如果只局限于一种技术，那么肯定做不好优化的。下... 查看详情

hive参数与性能企业级调优(代码片段)

...的一些方法及技巧。Hive性能调优的方式为什么都说性能优化这项工作是比较难的，因为一项技术的优化，必然是一项综合性的工作，它是多门技术的结合。我们如果只局限于一种技术，那么肯定做不好优化的。下... 查看详情

hive优化笔记(代码片段)

目录减少job数。3.配置角度优化3.1列裁剪4.2分区裁剪3.3JOIN操作3.4MAPJOIN操作3.5GROUPBY操作3.6合并小文件5.程序角度优化5.1熟练使用SQL提高查询5.2无效ID在关联时的数据倾斜问题5.3不同数据类型关联产生的倾斜问题5.4利用Hive对UNIONALL优... 查看详情

工作常用之hive调优hql语法优化(代码片段)

 HQL语法优化3.1列裁剪与分区裁剪列裁剪就是在查询时只读取需要的列，分区裁剪就是只读取需要的分区。当列很多或者数据量很大时，如果select*或者不指定分区，全列扫描和全表扫描效率都很低。Hive在读数据的时... 查看详情

工作常用之hive调优hql语法优化(代码片段)

 HQL语法优化3.1列裁剪与分区裁剪列裁剪就是在查询时只读取需要的列，分区裁剪就是只读取需要的分区。当列很多或者数据量很大时，如果select*或者不指定分区，全列扫描和全表扫描效率都很低。Hive在读数据的时... 查看详情

工作常用之hive调优hql语法优化(代码片段)

 HQL语法优化3.1列裁剪与分区裁剪列裁剪就是在查询时只读取需要的列，分区裁剪就是只读取需要的分区。当列很多或者数据量很大时，如果select*或者不指定分区，全列扫描和全表扫描效率都很低。Hive在读数据的时... 查看详情

hive性能优化(代码片段)

...中的剩余部分，本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。2.介绍　　首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？数据量大不是问... 查看详情

hive的join优化(代码片段)

...强全世界大学生的团结和友谊。注意，本文讨论的hivejoin优化器是从hive0.11.0版本起添加的，本文描述了Hive查询执行计划的优化，以提高join效率并减少对用户提示的需求。Hive自动识别各种用例并对其进行优化。 查看详情

hive三hive理论(代码片段)

...据管理四种数据模型Hive内部表和外部表Hive数据类型Hive的优化Map的优化：Reduce的优化一个Reduce:分区裁剪（partition）笛卡尔积MapjoinUnionallMulti-insert&multi-groupbyAutomaticmergeMulti-CountDistinctHi 查看详情

测试与优化(代码片段)

211614269林凯211601233张康凌单元测试一.设计思路-针对每个方法，对出现的可能情况进行测试，每个测试方法对应几年级。-最后验证是否与预期结果一样二.部分代码```@TestpublicvoidtestCheckInput()String[]a=newString[]"-n","50","-grade","3";String[]... 查看详情

python连接sql与hive(代码片段)

--ZstarlingSQL连接hive连接补充写入方法write与writelines对比表格Dataframe形式的写入for、with位置对比SQL连接importpymysqldefsql(path):conn=pymysql.Connect(host='36.104.34.123',user='用户名',passwd= 查看详情

hive性能优化之表设计优化(代码片段)

目录1分区表1.1Hive查询基本原理1.2普通表结构问题1.3分区表设计思想1.4分区表测试2分桶表2.1Hive中Join的问题2.2分桶表设计思想2.3分桶表测试3索引设计3.1Hive中的索引3.2索引的原理及使用3.3索引的问题与应用1分区表1.1Hive查询基本原... 查看详情

hive3-性能优化(代码片段)

一、存储格式修改Hive数据存储的本质还是HDFS，所有的数据读写都基于HDFS的文件来实现，为了提高对HDFS文件读写的性能，Hive中提供了多种文件存储格式：TextFile、SequenceFile、RCFile、ORC、Parquet等，Hive默认情况... 查看详情

hive3-性能优化(代码片段)

一、存储格式修改Hive数据存储的本质还是HDFS，所有的数据读写都基于HDFS的文件来实现，为了提高对HDFS文件读写的性能，Hive中提供了多种文件存储格式：TextFile、SequenceFile、RCFile、ORC、Parquet等，Hive默认情况... 查看详情