spark从入门到精通学习笔记大纲

代码艺术 代码艺术     2022-08-23     585

关键词:

Spark 内核

  • 第28课:Spark天堂之门解密 (点击进入博客)
    从 SparkContext 创建3大核心对象开始到注册给 Master 这个过程中的源码鉴赏
  • 第29课:Master HA彻底解密 (点击进入博客)
    从 Master 如何基于 ZooKeeper 来做 HA 的源码鉴赏
  • 第30课:Master的注册机制和状态管理解密 (点击进入博客)
    从 Master 的角度去分析它是如何接收 Worker, Driver, Application 的注册,以及它是如何管理 Driver 和 Executor 状态变化的源码鉴赏
  • 第31课:Spark资源调度分配内幕天机彻底解密:Driver在Cluster模式下的启动、两种不同的资源调度方式源码彻底解析、资源调度内幕总结 (点击进入博客)
    从 Spark 资源调度的角度去分析Worker与应用程序是如何获得计算资源的源码鉴赏
  • 第32课:Spark Worker 原理和源码剖析解密:Worker工作流程图、Worker启动Driver源码解密、Worker启动Executor源码解密等 (点击进入博客)
    从 Worker 的角度去分析它是如何启动 Driver、Executor 和与 Master 交互的源码鉴赏
  • 第33课:Spark Executor内幕彻底解密:Executor工作原理图、ExecutorBackend注册源码解密、Executor实例化内幕、Executor具体工作内幕 (点击进入博客)
    从 Executor 的角度去分析它是如何注册和 CoarseGrainedExecutorBackend 与 CoarseGrainedSchedulerBackend 两者之间是如何交互的源码鉴赏
  • 第34课:Stage划分和Task最佳位置算法源码彻底解密 (点击进入博客)
    从 Task 的角度去分析一个任务是如何被划分成不同的 Stage 以及Spark是如何计算出最佳的数据本地性
  • 第35课:打通Spark系统运行内幕机制循环流程 (点击进入博客)
    再一次介绍和运行从提交作业到程序封装成 Task 运行的机制
  • 第36课:TaskScheduler内幕天机解密:Spark shell案例运行日志详解、TaskScheduler和SchedulerBackend、FIFO与FAIR、Task运行时本地性算法详解等 (点击进入博客)
  • 第37课:Task执行内幕与结果处理解密 (点击进入博客)
  • 第38课:BlockManager架构原理、运行流程图和源码解密 (点击进入博客)
  • 第40课:CacheManager彻底解密:CacheManager运行原理流程图和源码详解 (点击进入博客)
  • 第41课:Checkpoint彻底解密:Checkpoint的运行原理和源码实现彻底详解 (点击进入博客)

 

Spark SQL

 

Spark 案例与性能调优目录

  • 第一章:性能调优的本质、Spark资源使用原理和调优要点分析 (点击进入博客)
    初探大数据性能调优的本质和Spark性能调优要点分析、Spark性能调优之系统资源使用原理和调优最佳实践以及Spark性能调优之使用更高性能算子及其源码剖析
  • 第二章:彻底解密 Spark 的 HashShuffle (点击进入博客)
    谈谈 Spark旧版本中性能调优之HashShuffle剖析及调优、彻底解密 Shuffle 是如何成为Spark性能杀手的及调优点思考以及 Spark Hash Shuffle 源码解读与剖析
  • 第三章 : Spark 2.1.x 中 Sort-Based Shuffle 产生的内幕 (点击进入博客)
    从根本上理解 Spark 中 Sort-Based Shuffle 产生的内幕及其 tungsten-sort 背景解密、解密Spark Shuffle令人费解的6大经典问题
  • 第四章 : Spark Shuffle 中 JVM 内存使用及配置内幕详情 (点击进入博客)
    源码补充 : Spark 2.1.X 中 Unified 和 Static MemoryManager (点击进入博客)
    谈谈 JVM 内存使用架构剖析、Spark 1.6.x 以前和 Spark 2.1.x 版本中 JVM 到底可以缓存多少数据、Spark Unified Memory 原理

 

 

 

es6从入门到精通系列学习笔记23篇(完结)

说明ES6从入门到精通系列(全23讲)学习笔记。可以自行搜索B站,有小马哥的视频学习。目录ES6从入门到精通#01:ES6介绍ES6从入门到精通#02:let和const命令ES6从入门到精通#03:模板字符串ES6从入门到精通#04&... 查看详情

spark从入门到精通

什么是Spark大数据计算框架离线批处理大数据体系架构图(Spark)Spark包含了大数据领域常见的各种计算框架:比如SparkCore用于离线计算,SparkSQL用于交互式查询,SparkStreaming用于实时流式计算,SparkMLib用于机器学习,SparkGraphX用于... 查看详情

spark修炼之道——spark学习路线课程大纲

...、Akka分布式编程(8讲)Spark修炼之道(进阶篇)——Spark入门到精通(30讲)Spark修炼之道(实战篇)——Spark应用开发实战篇(20讲)Spark修炼之道(高级篇)——Spark源代码解析(50讲)部分内容会在实际编写时动态调整。或补... 查看详情

oracle从入门到精通系列讲解-总目录(代码片段)

总目录欢迎大家来到Lucifer三思而后行的《Oracle从入门到精通系列》,开始前博主先列出Oracle学习的大纲,同时这也可以作为大家学习Oracle的参考。下面蓝字都是传送门,点击进入即可:学前必读Oracle从入门到精通... 查看详情

2022年python+大数据学习路线图,源码笔记,最优学习资源

...,攻破难关!文章目录前言第一阶段大数据开发入门1.大数据数据开发基础MySQL8.0从入门到精通第二阶段大数据核心基础2022版大数据Hadoop入门教程第三阶段千亿级数仓技术数据离线数据仓库,企业级在线教育项目实战&... 查看详情

spark2.2从入门到精通全套视频教程(含网盘下载地址)

spark2.2从入门到精通链接:https://pan.baidu.com/s/1sm2Jdmt密码:rdea 查看详情

opencv|opencv实战从入门到精通系列四--常用函数讲解

...0c;与你不见不散本文为学习笔记记录本文是《OpenCV实战从入门到精通》系列之第4篇:OpenCV|OpenCV实战从入门到精通系列一--OpenCV宏的讲解OpenCV|OpenCV实战从入门到精通系列二--OpenCV图像腐蚀OpenCV|OpenCV实战从入门到精通系列三--can 查看详情

[学习笔记]黑马程序员spark全套视频教程,4天spark3.2快速入门到精通,基于python语言的spark教程(代码片段)

文章目录视频资料:思维导图一、Spark基础入门(环境搭建、入门概念)第二章:Spark环境搭建-Local2.1课程服务器环境2.2Local模式基本原理2.3安装包下载2.4SparkLocal模式部署第三章:Spark环境搭建-StandAlone3.1StandAlon... 查看详情

vuevuejs从入门到精通-vue-router详解

学习视频来源:B站《Vue、Vuejs从入门到精通》个人在视频学习过程中也同步完成课堂练习等,现将授课材料与个人笔记分享出来。                                  查看详情

vuevuejs从入门到精通-vuecli详解(代码片段)

学习视频来源:B站《Vue、Vuejs从入门到精通》个人在视频学习过程中也同步完成课堂练习等,现将授课材料与个人笔记分享出来。    sudonpminstall-g@vue/clivue--versionsudonpminstall@vue/cli-init-g   runtime+compiler与runtimeon... 查看详情

vuevuejs从入门到精通-webpack详解(代码片段)

学习视频来源:B站《Vue、Vuejs从入门到精通》个人在视频学习过程中也同步完成课堂练习等,现将授课材料与个人笔记分享出来。    npmconfigsetregistryhttps://registry.npm.taobao.org,可以加速npminstall速度MAC下安装需要sudonp... 查看详情

学习笔记spark——spark入门

一、Spark简介什么是Spark?快速、分布式、可扩展、容错的集群计算框架;Spark是基于内存计算的大数据分布式计算框架;低延迟的复杂分析;Spark是HadoopMapReduce的替代方案。二、Spark的发展历史对于一个具有相当技... 查看详情

vuevuejs从入门到精通-基本语法(代码片段)

学习视频来源:B站《Vue、Vuejs从入门到精通》个人在视频学习过程中也同步完成课堂练习等,现将授课材料与个人笔记分享出来。创建vue模板,这样仅输入vue后按Tab可补齐内容  <!DOCTYPEhtml><htmllang="en"&... 查看详情

vuevuejs从入门到精通-邂逅vuejs(代码片段)

学习视频来源:B站《Vue、Vuejs从入门到精通》个人在视频学习过程中也同步完成课堂练习等,现将授课材料与个人笔记分享出来。   <!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><title... 查看详情

mybatis框架入门到精通-入门必备的学习笔记

    MyBatis是一款优秀的持久层框架,它支持定制化SQL、存储过程以及高级映射。MyBatis避免了几乎所有的JDBC代码和手动设置参数以及获取结果集。MyBatis可以使用简单的XML或注解来配置和映射原生信息,将接口和Java... 查看详情

vuevuejs从入门到精通-前端模块化(代码片段)

学习视频来源:B站《Vue、Vuejs从入门到精通》 个人在视频学习过程中也同步完成课堂练习等,现将授课材料与个人笔记分享出来。   aaa.jsvarmoduleA=(function()//导出的对象varobj=//小明varname='小明'varage=22fu... 查看详情

vuevuejs从入门到精通-组件化开发(代码片段)

学习视频来源:B站《Vue、Vuejs从入门到精通》 个人在视频学习过程中也同步完成课堂练习等,现将授课材料与个人笔记分享出来。<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><title>... 查看详情

学习建设网站从入门到精通

网站建设学习流程入门到精通  我们分为三个过程:①基础知识②进阶学习③高级部分(延伸知识)笔者从初学者到现在,经历了一些,把自己理解的,所学的,都献给爱做网站的网友们,因为我知道作为一个初学者是很迷茫... 查看详情