关键词：
CSDN话题挑战赛第2期
参赛话题：大数据技术分享
一、Yarn
Hadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn。但是Yarn并不是随Hadoop的推出一开始就有的，Yarn作为分布式集群的资源调度框架，它的出现伴随着Hadoop的发展，使Hadoop从一个单一的大数据计算引擎，成为一个集存储、计算、资源管理为一体的完整大数据平台，进而发展出自己的生态体系，成为大数据的代名词。
先回忆一下我们学习的MapReduce的架构，在MapReduce应用程序的启动过程中，最重要的就是要把MapReduce程序分发到大数据集群的服务器上。这种架构方案的主要缺点是，服务器集群资源调度管理和MapReduce执行过程耦合在一起，如果想在当前集群中运行其他计算任务，比如Spark或者Storm，就无法统一使用集群中的资源了。
在Hadoop早期的时候，大数据技术就只有Hadoop一家，这个缺点并不明显。但随着大数据技术的发展，各种新的计算框架不断出现，我们不可能为每一种计算框架部署一个服务器集群，而且就算能部署新集群，数据还是在原来集群的HDFS上。所以我们需要把MapReduce的资源管理和计算框架分开，这也是Hadoop 2最主要的变化，就是将Yarn从MapReduce中分离出来，成为一个独立的资源调度框架。
从图上看，Yarn包括两个部分：一个是资源管理器（Resource Manager），一个是节点管理器（Node Manager）。这也是Yarn的两种主要进程：ResourceManager进程负责整个集群的资源调度管理，通常部署在独立的服务器上；NodeManager进程负责具体服务器上的资源和任务管理，在集群的每一台计算服务器上都会启动，基本上跟HDFS的DataNode进程一起出现。
具体说来，资源管理器又包括两个主要组件：调度器和应用程序管理器。
调度器其实就是一个资源分配算法，根据应用程序（Client）提交的资源申请和当前服务器集群的资源状况进行资源分配。Yarn内置了几种资源调度算法，包括Fair Scheduler、Capacity Scheduler等，你也可以开发自己的资源调度算法供Yarn调用。
Yarn进行资源分配的单位是容器（Container），每个容器包含了一定量的内存、CPU等计算资源，默认配置下，每个容器包含一个CPU核心。容器由NodeManager进程启动和管理，NodeManger进程会监控本节点上容器的运行状况并向ResourceManger进程汇报。
应用程序管理器负责应用程序的提交、监控应用程序运行状态等。应用程序启动后需要在集群中运行一个ApplicationMaster，ApplicationMaster也需要运行在容器里面。每个应用程序启动后都会先启动自己的ApplicationMaster，由ApplicationMaster根据应用程序的资源需求进一步向ResourceManager进程申请容器资源，得到容器以后就会分发自己的应用程序代码到容器上启动，进而开始分布式计算。
我们以一个MapReduce程序为例，来看一下Yarn的整个工作流程。
1.我们向Yarn提交应用程序，包括MapReduce ApplicationMaster、我们的MapReduce程序，以及MapReduce Application启动命令。
2.ResourceManager进程和NodeManager进程通信，根据集群资源，为用户程序分配第一个容器，并将MapReduce ApplicationMaster分发到这个容器上面，并在容器里面启动MapReduce ApplicationMaster。
3.MapReduce ApplicationMaster启动后立即向ResourceManager进程注册，并为自己的应用程序申请容器资源。
4.MapReduce ApplicationMaster申请到需要的容器后，立即和相应的NodeManager进程通信，将用户MapReduce程序分发到NodeManager进程所在服务器，并在容器中运行，运行的就是Map或者Reduce任务。
5.Map或者Reduce任务在运行期和MapReduce ApplicationMaster通信，汇报自己的运行状态，如果运行结束，MapReduce ApplicationMaster向ResourceManager进程注销并释放所有的容器资源。
MapReduce如果想在Yarn上运行，就需要开发遵循Yarn规范的MapReduce ApplicationMaster，相应地，其他大数据计算框架也可以开发遵循Yarn规范的ApplicationMaster，这样在一个Yarn集群中就可以同时并发执行各种不同的大数据计算框架，实现资源的统一调度管理。
二、Hive
MapReduce的出现大大简化了大数据编程的难度，普通工程师也能使用MapReduce开发大数据程序。但是对于经常需要进行大数据计算的人，比如数据分析师来说，他们通常使用SQL进行大数据分析和统计，MapReduce编程还是有一定的门槛。而且如果每次统计和分析都开发相应的MapReduce程序，成本也确实太高了。那么有没有更简单的办法，可以直接将SQL运行在大数据平台上呢？
对于常见的一条SQL分析语句，MapReduce如何编程实现？
SELECT pageid, age, count(1) FROM pv_users GROUP BY pageid, age;这是一条非常常见的SQL统计分析语句，统计不同年龄的用户访问不同网页的兴趣偏好，对于产品运营和设计很有价值。具体数据输入和执行结果请看下面的图示。
左边是要分析的数据表，右边是分析结果。实际上把左边表相同的行进行累计求和，就得到右边的表了，看起来跟WordCount的计算很相似。确实也是这样，我们看下这条SQL语句的MapReduce的计算过程，按照MapReduce编程模型，map和reduce函数的输入输出以及函数处理过程分别是什么。
首先，看下map函数的输入Key和Value，我们主要看Value。Value就是左边表中每一行的数据，比如<1, 25>这样。map函数的输出就是以输入的Value作为Key，Value统一设为1，比如<<1, 25>, 1>这样。
map函数的输出经过shuffle以后，相同的Key及其对应的Value被放在一起组成一个<Key, Value集合>，作为输入交给reduce函数处理。比如<<2, 25>, 1>被map函数输出两次，那么到了reduce这里，就变成输入<<2, 25>, <1, 1>>，这里的Key是<2, 25>，Value集合是<1, 1>。
在reduce函数内部，Value集合里所有的数字被相加，然后输出。所以reduce的输出就是<<2, 25>, 2>。
这样一条很有实用价值的SQL就被很简单的MapReduce计算过程处理好了。
在数据仓库中，SQL是最常用的分析工具，既然一条SQL可以通过MapReduce程序实现，那么有没有工具能够自动将SQL生成MapReduce代码呢？这样数据分析师只要输入SQL，就可以自动生成MapReduce可执行的代码，然后提交Hadoop执行，也就完美解决了我们最开始提出的问题。问题的答案，也就是这个神奇的工具就是Hadoop大数据仓库Hive。
我们通过Hive的Client（Hive的命令行工具，JDBC等）向Hive提交SQL命令。如果是创建数据表的DDL（数据定义语言），Hive就会通过执行引擎Driver将数据表的信息记录在Metastore元数据组件中，这个组件通常用一个关系数据库实现，记录表名、字段名、字段类型、关联HDFS文件路径等这些数据库的Meta信息（元信息）。
如果我们提交的是查询分析数据的DQL（数据查询语句），Driver就会将该语句提交给自己的编译器Compiler进行语法分析、语法解析、语法优化等一系列操作，最后生成一个MapReduce执行计划。然后根据执行计划生成一个MapReduce的作业，提交给Hadoop MapReduce计算框架处理。
后面随着Hive的普及，我们对于在Hadoop上执行SQL的需求越加强烈，对大数据SQL的应用场景也多样化起来，于是又开发了各种大数据SQL引擎。后来Spark出道以后，也迅速推出了自己的SQL引擎Shark，也就是后来的Spark SQL，将SQL语句解析成Spark的执行计划，在Spark上执行。由于Spark比MapReduce快很多，Spark SQL也相应比Hive快很多，并且随着Spark的普及，Spark SQL也逐渐被人们接受。后来Hive推出了Hive on Spark，将Hive的执行计划转换成Spark的计算模型，当然这是后话了。
大数据平台cdp中如何配置hive作业的yarn队列以确保sla?(代码片段)
...置hive作业的YARN队列以确保SLA?大家知道，在生产环境的大数据集群中，在向资源管理器YARN提交作业时，我们一般会将作业提交到管理员指定的队列去执行，以利用YARN队列的资源隔离性确保作业能够获得足够的资... 查看详情
打怪升级之小白的大数据之旅(六十八)＜hive旅程第九站:hive的压缩与存储＞(代码片段)
打怪升级之小白的大数据之旅(六十八)Hive旅程第九站:Hive的压缩与存储上次回顾上一章，我们学习完了hive的函数相关操作，到此，我们hive的大的知识点就全部介绍完毕了，当然了，还有一些细节我没有讲到... 查看详情
打怪升级之小白的大数据之旅(六十二)＜hive旅程第三站:hive数据类型＞(代码片段)
打怪升级之小白的大数据之旅(六十二)Hive旅程第三站:Hive数据类型上次回顾上一章，我们对Hive的安装进行了学习，本章正式学习Hive的相关操作，按照惯例，学习一个新的语言就要了解它的数据类型数据类型Hive的... 查看详情
打怪升级之小白的大数据之旅(六十四)＜hive旅程第五站:dml基本操作＞(代码片段)
打怪升级之小白的大数据之旅(六十四)Hive旅程第五站:DML基本操作上次回顾上一章，我们学习了Hive的DDL操作，学会如何操作数据库、数据表后，本章我们就要开始学习如何将数据导入到表中，如何将数据从表中导... 查看详情
hive启动不成功原因(代码片段)
...adoop中hive启动不成功的原因hive示例:Hive是构建在Hadoop上的数据仓库，其最初的主要目的是存储和处理Facebook每天产生的海量社交网络数据。此外Hive充分利用了MapReduce编程技术，还为数据仓库管理提供了数据ETL(提取、转换... 查看详情
打怪升级之小白的大数据之旅(六十一)＜hive旅程第二站:hive安装＞(代码片段)
打怪升级之小白的大数据之旅(六十一)Hive旅程第二站:Hive安装上次回顾上一章我们学习了Hive的概念以及框架原理，本章节是对Hive的安装进行分享，因为它有些需要自己配置的点，所以我单独开了一个章节Hive安装前期... 查看详情
打怪升级之小白的大数据之旅(六十五)＜hive旅程第六站:hive的查询＞(代码片段)
打怪升级之小白的大数据之旅(六十五)Hive旅程第六站:Hive的查询上次回顾经过前面的学习，我们已经可以初步使用Hive对数据的一些简单操作了，本章节是Hive的一个重点内容–查询查询HQL和我们前面学习的Mysql语法是一样... 查看详情
打怪升级之小白的大数据之旅(六十)＜hive旅程中的始发站＞(代码片段)
打怪升级之小白的大数据之旅(六十)Hive旅程中的始发站引言经过了前面Hadoop、MR、Java、MySQL以及Linux的洗礼，接下来我们就要进入到大数据中特别重要的一个知识点学习–Hive,Hive是我们大数据日常工作中必不可少的一个技能&#x... 查看详情
打怪升级之小白的大数据之旅(六十三)＜hive旅程第四站:ddl操作＞(代码片段)
打怪升级之小白的大数据之旅(六十三)Hive旅程第四站:DDL操作上次回顾上一章，我们学习了Hive的数据类型以及访问方式，本章节我们对数据库与数据表的操作进行学习DDL操作数据库操作的CURD数据库的操作和mysql相同，... 查看详情
打怪升级之小白的大数据之旅(六十九)＜hive旅程第十站:hive的优化＞(代码片段)
打怪升级之小白的大数据之旅(六十九)Hive旅程第十站:Hive的优化上次回顾上一章介绍了Hive的压缩与存储格式，本章节是Hive的一起其他优化方法Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算从hive... 查看详情
公共大数据集群中如何配置yarn的公平调度器和容量调度器(代码片段)
...有公平调度器fairscheduler和容量调度器capacityscheduler。常见的大数据发行版中，CDH集成的是公平调度器，CDP/HDP集成的是容量调度器。在实际使用过程中& 查看详情
第四课：yarn和map/reduce配置启动和原理讲解(代码片段)
前三节课主要讲了hdfs，hdfs就是一个分鱼展的大硬盘分：分块鱼：冗余展：动态扩展接下来讲云计算，也可以理解为分布式计算，其设计原则：移动计算，而不是移动数据 前面说过，hadoop由hdfs，yarn，map/reduce组成，而yarn（Yet... 查看详情
presto架构和原理简介（转）(代码片段)
Presto是Facebook推出的一个基于Java开发的大数据分布式SQL查询引擎，可对从数G到数P的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别，据称该引擎的性能是Hive的10倍以上。Presto可以查询包括Hive、Cassandra甚至是... 查看详情
hive数仓项目架构说明环境搭建及数据仓库基础知识(代码片段)
...理工具,主要服务于hadoop高可用以及其他基于zookeeper管理的大数据软件HDFS:主要负责最终数据的存储YARN:主要提供资源的分配HIVE:用于编写SQL,进行数据分析oozie:主要是用来做自动化定时调度sqoop:主要是用于数据的导入导出HUE:提升操... 查看详情
hive数仓项目架构说明环境搭建及数据仓库基础知识(代码片段)
...理工具,主要服务于hadoop高可用以及其他基于zookeeper管理的大数据软件HDFS:主要负责最终数据的存储YARN:主要提供资源的分配HIVE:用于编写SQL,进行数据分析oozie:主要是用来做自动化定时调度sqoop:主要是用于数据的导入导出HUE:提升操... 查看详情
大数据必知必会|hive架构设计和原理(代码片段)
前言 大家好，我是梦想家Alex。在上一篇文章简单介绍HDFS，MapReduce，Yarn的架构思想和原理，收获和反响还不错，那本篇内容，我们继续，本篇文章，我来为大家介绍Hive架构思想和设计原... 查看详情
大数据必知必会|hive架构设计和原理(代码片段)
前言 大家好，我是梦想家Alex。在上一篇文章简单介绍HDFS，MapReduce，Yarn的架构思想和原理，收获和反响还不错，那本篇内容，我们继续，本篇文章，我来为大家介绍Hive架构思想和设计原... 查看详情
打怪升级之小白的大数据之旅(六十六)＜hive旅程第七站:hive的分区表与分桶表＞(代码片段)
打怪升级之小白的大数据之旅(六十六)Hive旅程第七站:Hive的分区表与分桶表上次回顾上一章，我们学习了Hive的查询相关语法，本章节我们学习一下分区表与分桶表分区表通过前面Hive的学习，我们知道，表在HDFS中... 查看详情