关键词：
参考技术A ES集群中各节点角色功能简介本博客根据ES 7.15 ，介绍ES中各节点角色功能。集群节点角色可以在配置文件elasticsearch.yml中通过node.roles配置，如果配置了节点角色，那么该节点将只会执行配置的角色功能；如果不配置，该节点将会执行以下角色功能：
1、如果私自配置节点信息，请确保集群配置有master角色的节点和data角色的节点
2、如果有较大的机器学习（machine learning）任务或转换（transform）任务，建议将候选的主节点（Master-eligible node）与数据节点（data node）、机器学习节点（machine learning node）和转换节点（transforming node）分开是很有必要的。
3、每个节点都默认为协调节点（Coordinating node），如果node.roles设置为[]那么该节点将只执行协调节点功能
ES集群
（1）Cluster：代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。
（2）Shards：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。
（3）replicas：代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。
（4）Recovery：代表数据恢复或叫数据重新分布，es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。
（5）ES为什么要实现集群：在单台ES服务器节点上，随着业务量的发展索引文件慢慢增多，会影响到效率和内存存储问题等。ES集群，可以将单个索引的分片到多个不同分布式物理机器上存储，从而可以实现高可用、容错性等。ES集群中索引可能由多个分片构成，并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片，我们可以处理不能在一个单一的服务器上面运行的大型索引，简单的说就是索引的大小过大，导致效率问题。不能运行的原因可能是内存也可能是存储。由于每个分片可以有多个副本，通过将副本分配到多个服务器，可以提高查询的负载能力。
（6）es如何解决高并发：ES是一个分布式全文检索框架，隐藏了复杂的处理机制，内部使用 分片机制、集群发现、分片负载均衡请求路由。 Shards 分片:代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。Replicas分片:代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。
5、ES集群脑裂
6、ES集群的分布式存储
· 如新增一个文档流程 文档-->协调节点（hash运算）-->mater-->决策路由到对应主分片如node3节点-->同步副本分片到node2节点上-->返回结构到
协调节点coordinating node-->再传至matster
6、故障转移
· 停掉master
· cerebro界面集群状态瞬间变黄了
· 这是之前master节点的分片开始转移至剩余的两个节点，集群剩余两个节点，且保证主副分片不在同一个几点
· 重新启动故障节点，集群再次恢复三个节点，分片自动转移过去，但是此时它已不是master节点
es学习第十课，elasticsearch集群搭建
...概念和查询了解了，大家知道ES的核心优势就是天生支持分布式，所以，这课我们专门讲讲怎么搭建实现ES的集群部署。ES分布式原理 1、es分布式概念 主分片（Primaryshard）索引的子集，索引可以切分成多个分片，分布到不... 查看详情
es集群原理与搭建
...把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。replicas代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某... 查看详情
elasticsearch集群
...ES集群，会将单台服务器节点的索引文件使用分片技术，分布式的存放在多个不同的物理机器上，从而可以实现高可用、容错性等。es核心存放的是索引。什么是分片技术将数据拆分成多台节点进行存放。ES是如何解决高并发ES是... 查看详情
es搜索引擎集群模式搭建
...ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎（与Solr类似），基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设... 查看详情
详解rediscluster集群(代码片段)
RedisCluster是Redis的分布式解决方案，在Redis3.0版本正式推出的，有效解决了Redis分布式方面的需求。当遇到单机内存、并发、流量等瓶颈时，可以采用Cluster架构达到负载均衡的目的。分布式集群首要解决把整个数据集按照分区规... 查看详情
编程随笔-elasticsearch知识导图：分布式架构(代码片段)
1.集群结构??在我们探究ES的分布式架构之前，我们使用一个简单的导图描述一下我们在设计分布式系统时会考虑的问题，如图1所示。??带着图1中的问题我们来探究一下ES集群，ES集群是一个典型的主从结构，从某种意义上来说，... 查看详情
elasticsearches集群原理与搭建
...把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。 replicas 代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系... 查看详情
elasticsearch分布式高级特性(代码片段)
es支持集群模式，是一个分布式系统，其好处主要有两个：增大系统容量，如内存，磁盘，使得es集群可以支持PB级的数据提高系统可用性，即使部分节点停止服务，整个集群依然可以正常服务 es集群由多个es实例组成，... 查看详情
hadoop详解——zookeeper详解，zookeeper伪分布搭建和集群搭建，hadoop集群搭建，sqoop工具的使用(代码片段)
...er？ZooKeeper是Google的Chubby一个开源的实现，是Hadoop分布式协调服务。它包含了一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命令服务等。它的结构图如下：ZooKeeper集群搭建的要求&#x... 查看详情
es_mysqlhbaseelasticsearch三者对比详解
...是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天然分布式，主从架构，不支持事务，不支持二级索引，不支持sql。ElasticSearch：简称ES是一款分布式的全文检索框架，底层基于L... 查看详情
cynosdb技术详解——存储集群管理
本文由腾讯云数据库发表前言CynosDB是架构在CynosFS之上的分布式关系数据库系统，为最大化利用存储资源，平衡资源之间的竞争，检查资源使用情况，需要一套高效稳定的分布式集群管理系统（SCM:StorageClusterManager），SCM使用Etcd... 查看详情
使用docker安装elasticsearch伪分布式集群(代码片段)
docker安装elasticsearch伪分布式集群0.在安装es之前，首先编辑一下宿主机的内核参数，否则配置es集群的时候极有可能启动不成功：[[email protected]~]#vim/etc/sysctl.confvm.max_map_count=655360[[email protected]~]#sysctl-p#加载参数1.搜索es的镜... 查看详情
elasticsearch学习之基础概念
Elasticsearch是一个近实时的分布式搜索引起，其底层基于开源全文搜索库Lucene；Elasticsearch对Lucene进行分装，对外提供RESTAPI的操作接口。基于ES，可以快速的搭建全文搜索引擎；除了搜索功能，ES还可以对数据进行分析：如日... 查看详情
elasticsearch之二——集群(代码片段)
...分成多个分片，并将它们分布到不同的节点上，从而构成分布式索引；replicas：代表索引副本，副本可以保证系统的高可用性，当某个节点的某个分片损坏时可以从副本中恢复，此外，多个分片副本还可以起到负载均衡的作用；r... 查看详情
hbase0.98分布式集群安装详解(代码片段)
概述HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样... 查看详情
elk介绍及搭建elasticsearch分布式集群(代码片段)
笔记内容：ELK介绍及搭建Elasticsearch分布式集群笔记日期：2018-03-0227.1ELK介绍27.2ELK安装准备工作27.3安装es27.4配置es27.5curl查看es集群情况ELK介绍需求背景：业务发展越来越庞大，服务器越来越多各种访问日志、应用日志、错误日志... 查看详情
elasticsearch核心之——分布式特性
参考技术AES支持集群模式，是一个分布式系统，其好处主要有两个∶es集群由多个ES实例组成。不同集群通过集群名字来区分，可通过cluster.name进行修改，默认为elasticsearch。每个ES实例本质上是一个JVM进程，且有自己的名字，通... 查看详情
memcached集群/分布式/高可用及magent缓存代理搭建过程详解(代码片段)
当网站访问量达到一定时，如何做Memcached集群，又如何高可用，是接下来要讨论的问题。有这么一段文字来描述“Memcached集群”Memcached如何处理容错的？不处理！:)在memcached节点失效的情况下，集群没有必... 查看详情