大数据讲课笔记6.1初识zookeeper

howard2005 howard2005     2022-12-02     513

关键词:

文章目录

零、学习目标

  1. 理解ZooKeeper特性
  2. 掌握ZooKeeper集群角色

一、导入新课

  • 带领学生回顾项目五MapReduce分布式计算框架的相关知识。由于ZooKeeper是Hadoop生态体系的一个重要组件,它是基于分布式计算的核心概念而设计的,主要是给开发人员提供一套容易理解和开发的接口,从而简化分布式系统构建的服务。因此,本项目将针对ZooKeeper分布式计算框架的基本概念进行详细讲解。

二、新课讲解

(一)ZooKeeper概述

  • ZooKeeper是一个分布式协调服务的开源框架,它是由Google的Chubby开源实现。ZooKeeper主要用来解决分布式集群中应用系统的一致性问题和单点故障问题,例如如何避免同时操作同一数据造成脏读的一致性问题等。
  • ZooKeeper 是分布式应用程序的协调服务框架,是Hadoop的重要组件。它要解决的问题:

(1)分布式环境下的数据一致性
(2)分布式环境下的统一命名服务
(3)分布式环境下的配置管理
(4)分布式环境下的分布式锁
(5)分布式集群的管理问题

(二)ZooKeeper特性

  • ZooKeeper具有全局数据一致性、可靠性、顺序性、原子性以及实时性,可以说ZooKeeper的其他特性都是为满足ZooKeeper全局数据一致性这一特性。

(三)ZooKeeper集群角色

  • ZooKeeper集群是一个主从集群,它一般是由一个Leader(领导者)和多个Follower(跟随者)组成。此外,针对访问量比较大的ZooKeeper集群,还可新增Observer(观察者)。ZooKeeper集群中的三种角色各司其职,共同完成分布式协调服务。

1、Leader角色

  • Leader是ZooKeeper集群工作的核心,也是事务性请求(写操作)的唯一调度和处理者,保证集群事务处理的顺序性,同时负责进行投票的发起和决议,以及更新系统状态。

2、Follower角色

  • Follower负责处理客户端的非事务(读操作)请求,如果接收到客户端发来的事务性请求,则会转发给Leader,让Leader进行处理,同时还负责在Leader选举过程中参与投票。

3、Observer角色

  • Observer负责观察ZooKeeper集群的最新状态的变化,并且将这些状态进行同步。对于非事务性请求可进行独立处理;对于事务性请求,则会转发给Leader服务器进行处理。它不参与任何形式的投票,只提供非事务性的服务。

三、归纳总结

  • 回顾本节课所讲的内容,并通过提问的方式引导学生解答问题并给予指导。

四、上机操作

  • 形式:单独完成
  • 题目:初识ZooKeeper
  • 要求:观看尚硅谷大数据视频涉及ZooKeeper特性与集群角色这部分内容,然后撰写一篇学习报告。

2022年大数据基础讲课笔记

一、讲课笔记项目一、Linux基础大数据讲课笔记1.1安装配置CentOS[在OpenStack私有云上安装配置虚拟机]大数据讲课笔记1.2Linux用户操作大数据讲课笔记1.3Linux目录操作大数据讲课笔记1.4进程管理大数据讲课笔记1.5使用Vim编辑器大数据... 查看详情

2022年大数据基础讲课笔记

一、讲课笔记项目一、Linux基础大数据讲课笔记1.1安装配置CentOS[在OpenStack私有云上安装配置虚拟机]大数据讲课笔记1.2Linux用户操作大数据讲课笔记1.3Linux目录操作大数据讲课笔记1.4进程管理大数据讲课笔记1.5使用Vim编辑器大数据... 查看详情

大数据讲课笔记6.5zookeeper的shell操作

...零、学习目标一、导入新课二、新课讲解(一)ZooKeeperShell概述(二)通过Shell命令操作ZooKeeper1、显示所有操作命令2、查看当前ZK内容3、查看当前节点数据4、创建节点5、获取节点6、修改节点7、监听节点8、删除... 查看详情

大数据讲课笔记6.2zookeeper数据模型(代码片段)

...、导入新课通过上节课的学习,学生已经初步了解了ZooKeeper分布式协调服务ÿ 查看详情

大数据讲课笔记6.6zookeeper的javaapi操作(代码片段)

...零、学习目标一、导入新课二、新课讲解(一)ZooKeeperJavaAPI概述1、ZooKeeperJavaAPI包含五个包2、ZooKeeper类常用方法(二)通过JavaAPI操作ZooKeeper1、创建Maven项目2、添加相关依赖3、创建类实现功能(1)测试连... 查看详情

大数据讲课笔记6.6zookeeper的javaapi操作(代码片段)

...零、学习目标一、导入新课二、新课讲解(一)ZooKeeperJavaAPI概述1、ZooKeeperJavaAPI包含五个包2、ZooKeeper类常用方法(二)通过JavaAPI操作ZooKeeper1、创建Maven项目2、添加相关依赖3、创建类实现功能(1)测试连... 查看详情

大数据讲课笔记6.4zookeeper分布式集群部署(代码片段)

...零、学习目标一、导入新课二、新课讲解(一)ZooKeeper分布式集群部署(二)下载解压ZooKeeper安装包1、下载ZooKeeper安装包2、上传ZooKeeper安装包3、解压ZooKeeper安装包(三)ZooKeeper相关配置1、在master虚拟机... 查看详情

大数据讲课笔记2.2大数据应用场景

...、学习目标一、导入新课二、新课讲解(一)大数据在医疗行业的应用1、优化医疗方案,提供最佳治疗方法2、有效预防预测疾病(二)大数据在金融行业的应用1、精准营销2、风险管控3、决策支持4、服务创... 查看详情

大数据讲课笔记2.3初探hadoop世界

...、新课讲解(一)Hadoop的前世今生1、Google处理大数据三大技术2、Hadoop如何诞生3、Hadoop主要发展历程(二)Hadoop的优势1、扩容能力强2、成本低3、高效率4、可靠性5、高容错性(三)Hadoop的生态体系1、HDFS... 查看详情

大数据讲课笔记4.1hdfs基本概念(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解(一)HFDS的演变(二)HDFS的基本概念1、NameNode(名称节点)2、DataNode(数据节点)3、Block(数据块)4、Rack(机架)5、Metadata( 查看详情

大数据讲课笔记5.1初探mapreduce(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解(一)MapReduce核心思想(二)MapReduce编程模型(三)MapReduce编程实例——词频统计1、词频统计设计思路(1)Map阶段(2)Reduce阶段2、词频统... 查看详情

大数据讲课笔记1.4进程管理(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解(一)进程概述1、基本概念2、三维度看待进程3、引入多进程模型4、进程的产生和消亡(1)进程的产生(2)进程的消亡5、进程三种状态6、进程ID(PID... 查看详情

大数据讲课笔记1.8shell基础(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解(一)shell概述1、了解shell的含义2、Linux中shell存在形式3、shell如何执行用户指令(二)常用shell命令1、管道命令(1)命令概述(2)命令格式(... 查看详情

大数据讲课笔记5.4mapreduce运行模式(代码片段)

...式2、集群运行模式(二)MapReduce性能优化策略1、数据输入2、Map阶段3、Reduce阶段4、Shuffle阶段5、其它调优属性三、归纳总结四、上机操作零、学习目标了解MapReduce运行模式理解MapReduce性能优化策略一、导入新课通过 查看详情

初识大数据与python语言——学习笔记

学习视频实验现9/30记录一下,21年9月28日开始学习大数据 查看详情

初识大数据与python语言——学习笔记

学习视频实验现9/30记录一下,21年9月28日开始学习大数据 查看详情

大数据讲课笔记1.6压缩与打包(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解(一)压缩与打包1、压缩2、打包3、压缩或打包文件常见扩展名(二)gzip命令1、命令作用2、选项参数3、实战练习任务1、压缩文件任务2、解压文件(三)... 查看详情

大数据讲课笔记3.1hadoop安装准备(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解(一)Hadoop集群拓扑1、集群拓扑2、角色分配(二)虚拟机安装(三)虚拟机克隆1、克隆类型(1)完整克隆(2)链接克隆2、克隆步骤(... 查看详情