正文 

当前位置： 首页 > 知识 > java教程

04spark运行架构(代码片段)

一条coding 一条coding     2022-11-30     509

关键词：

大家好，我是一条~

5小时推开Spark的大门，第四小时，带大家理解Spark的核心概念。

话不多说，开干！

运行架构

大家还记得第一节的系统架构图吗，就是这张

有同学反馈说都是英文的看不太懂，对照起来看又特别麻烦。

这个是因为有些概念我也找不到特别标准且统一的翻译，这也是目前的一个现状，很多文档都是英文的，虽然有国人翻译，但是不沟通统一，难免会对新手造成困扰。

要改变这一现状，需要所有程序员的共同努力。

首先回顾一下每个节点都是什么意思：

Spark整体采用了标准master-slave的结构。

图中的Driver表示master，负责管理整个集群中的作业任务调度；Executor 则是 slave，负责实际执行任务。

1.Driver

负责实际代码的执行工作，即执行 Spark 任务中的 main 方法，在 Spark 作业执行时主要负责：

  • 将用户程序转化为作业（job）
  • 在Executor之间调度任务(task)
  • 跟踪Executor的执行情况
  • 通过WebUI展示查询运行情况

简单理解，所谓Driver就是驱使整个应用运行起来的程序。

2.SparkContext

每一个Spark应用都是一个SparkContext实例，可以理解为一个SparkContext就是一个spark application的生命周期，一旦SparkContext创建之后，就可以用这个SparkContext来创建RDD、累加器、广播变量，并且可以通过SparkContext访问Spark的服务，运行任务。

就像上一节课我们与Spark建立连接的代码：

// 创建 Spark 运行配置对象
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    // 创建 Spark 上下文环境对象（连接对象）
    val sc  = new SparkContext(sparkConf)

4.Master & Worker

Spark集群的独立部署环境中，不需要依赖其他的资源调度框架，自身就实现了资源调度的功能（当然也有Yarn调度模式），所以环境中还有其他两个核心组件：Master 和 Worker。

Master主要负责资源的调度和分配的进程，并进行集群的监控等职责。

Worker也是进程，运行在集群中的一台服务器上，由 Master 分配资源对数据进行并行的处理和计算。

简单理解，你是Worker，Master是你老板。

5.Executor

Spark Executor是集群中工作节点（worker node）中的一个进程，负责在Spark作业中运行具体任务，也就是真正干活的那个。

任务彼此之间相互独立。Spark应用启动时，Executor节点被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。

如果有 Executor 节点发生了故障或崩溃，Spark 应用也可以继续执行，会将出错节点上的任务调度到其他 Executor节点上继续运行。

就好比这个人干不动了，换个人接着干。

Executor的核心功能

  • 负责运行组成 Spark 应用的任务，并将结果返回给驱动器进程。

  • 它们通过自身的块管理器（Block Manager），作为用户程序的缓存，因此任务可以在运行时充分利用缓存，提高运算速度。

核心概念

了解了运行架构，还有一些Spark的核心概念需要理解。

1.并行度

我们常说高并发，是说同时处理大量请求的能力，那么在分布式计算框架中同样是多个任务同时执行，不同的是分布在不同的计算节点同时进行计算，是能够真正地实现多任务并行执行。

所以整个集群并行执行任务的数量称之为并行度。

那么一个作业到底并行度是多少呢？这个取决于框架的默认配置。应用程序也可以在运行过程中动态修改。

2.有向无环图

DAG（Directed Acyclic Graph）

大数据计算引擎框架我们根据使用方式的不同一般会分为四类，其中第一类就是Hadoop 所承载的 MapReduce,它将计算分为两个阶段，分别为 Map 阶段 和 Reduce 阶段。

对于上层应用来说，就不得不想方设法去拆分算法，甚至于不得不在上层应用实现多个Job的串联，以完成一个完整的算法，例如迭代计算。

由于这样的弊端，催生了支持DAG框架的产生。因此，支持 DAG 的框架被划分为第二代计算引擎。

接下来就是以 Spark 为代表的第三代的计算引擎。第三代计算引擎的特点主要是 Job 内部的DAG支持（不跨越 Job），以及实时计算。

这里所谓的有向无环图，并不是真正意义的图形，而是由 Spark 程序直接映射成的数据流的高级抽象模型。简单理解就是将整个程序计算的执行过程用图形表示出来,这样更直观，更便于理解，可以用于表示程序的拓扑结构。

DAG是一种非常重要的图论数据结构。如果一个有向图无法从任意顶点出发经过若干条边回到该点，则这个图就是有向无环图，如图：

3.RDD

到了最重要的了，也是最后一个大坑，内容比较多，留给明天填。

我们下期见！

spark基础学习笔记03：spark运行架构及原理(代码片段)

...SparkonStandalone模式（二）SparkonYARN模式1、YARN-Cluster运行流程2、YARN-Client运行流程3、两种模式的比较三、初步了解RDDÿ 查看详情

ubuntu16.04+pycharm+spark运行环境配置(代码片段)

0.安装PyCharm和spark     下载pycharm  http://www.jetbrains.com/pycharm/     下载spark         http://spark.apache.org/      ps:在安装pycharm前系统需要有java环境1.安装py4j      $sudopipinstallpy4j2.配置pycharm      在Run/Deb 查看详情

spark基础知识(代码片段)

...模式Yarn模式SparkStreaming配置高可用（HA）第3章Spark运行架构Spark基本概念3.1运行架构3.2核心组件3. 查看详情

spark学习之路spark运行流程(代码片段)

...nbsp;讨论QQ：1586558083目录一、Spark中的基本概念二、Spark的运行流程2.1　Spark的基本运行流程三、Spark在不同集群中的运行架构3.1　SparkonStandalone运行过程3.2　SparkonYARN运行过程 正文回到顶部一、Spark中的基本概念（1）Application... 查看详情

5.2spark运行架构及流程检测(代码片段)

...       C、Stage        D、TaskScheduler 相关知识Spark运行架构基本概念：Application：用户编写的Spark应用程序，包含一个Driver和多个Executor。Driver：Spark中的Driver即运行上述Application的main函数并创建SparkContextÿ... 查看详情

spark核心概念以及运行架构(代码片段)

...spark的应用程序=1个driver+多个executor。driver：一个进程，运行应用程序的main方法(python中可以把if__name__=="__main__"看成是main方法)，并创建一个SparkContext对象clustermanager：集群管理器，一个用于在集群上申请资源的外部服务，... 查看详情

spark基本架构及运行原理(代码片段)

Spark基本架构及运行原理Spark运行架构包括集群资源管理器（ClusterManager）、运行作业任务的工作节点（WorkerNode）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor&... 查看详情

ubuntu16.04+pycharm+spark运行环境配置(代码片段)

...在Run/DebugConfigurations中如下图配置 然后就可以在pycharm中运行pyspark的程序了测试一下：frompysparkimportSparkContextsc=SparkContext()logData=sc.textFile("README.md").cache()numAs=logData.filter(lambdas:'a'ins).count()numBs=logData.filte... 查看详情

转载spark运行架构

1、Spark运行架构1.1 术语定义lApplication：SparkApplication的概念和HadoopMapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码；lDriver：Spark中的Driver即运行上述A... 查看详情

spark入门实战系列--4.spark运行架构

...以在《倾情大奉送--Spark入门实战系列》获取 1、Spark运行架构1.1 术语定义lApplication：SparkApplication的概念和HadoopMapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运... 查看详情

大数据之spark:spark底层执行原理(代码片段)

目录1、Spark运行流程1.从代码角度看DAG图的构建2.将DAG划分为Stage核心算法3.将DAG划分为Stage剖析4.提交Stages6.获取任务执行结果7.任务调度总体诠释2、Spark运行架构特点1.Executor进程专属2.支持多种资源管理器3.Job提交就近原则4.移动... 查看详情

spark入门(代码片段)

...：响应速度快、易用性、通用性、兼容性（可以运行在各种模式下:stadnAlone，yarn，mesos和local模式）spark的主要架构模块：sparkCore：核心模块，最底层的支持，支持上层的各种其他的模块稳定运行... 查看详情

spark入门(代码片段)

...：响应速度快、易用性、通用性、兼容性（可以运行在各种模式下:stadnAlone，yarn，mesos和local模式）spark的主要架构模块：sparkCore：核心模块，最底层的支持，支持上层的各种其他的模块稳定运行... 查看详情

spark运行时的内核架构以及架构思考

一：Spark内核架构1，Drive是运行程序的时候有main方法，并且会创建SparkContext对象，是程序运行调度的中心，向Master注册程序，然后Master分配资源。应用程序：Application=Driver（驱动程序）+Executor（执行程序）Driver部分的代码：主要... 查看详情

转载spark系列之运行原理和架构

...ttp://www.cnblogs.com/shishanyuan/p/4721326.html  1、 Spark运行架构1.1 术语定义lApplication：SparkApplication的概念和HadoopMapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运... 查看详情

spark架构原理介绍以及jobtaskstag概念

Spark运行模式一：Spark运行架构介绍　　相关术语概念详解：　　　　Application：指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多节点上运行的Executor代码。　　　　Driver：Spark中的Driver就是运行Applic... 查看详情

图文详解spark总体架构[禅与计算机程序设计艺术](代码片段)

...构图术语说明：DriverDriver的主要功能，总结如下:运行应用程序的main函数创建spark的上下文划分RDD并生成有向无环图(DAGScheduler)与spark中的其他组进行协调，协调资源等等(SchedulerBackend)生成并发送Task到Executor(TaskScheduler)... 查看详情

spark详解(代码片段)

...2.1.2增加依赖关系2.1.3WordCount2.1.4异常处理第3章：Spark运行环境3.1Local模式3.1.1上传并解压缩文件3.1.2启动Local环境3.1.3命令行工具3.1.4退出本地模式3.1.5提交应用3.2Standalone模式3.2.1上传并解压缩文件3.2.2修改配置文件3.2.3启动集群3... 查看详情