关键词：
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！
新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。
目录
系列历史文章
2021年大数据ELK（六）：安装Elasticsearch
2021年大数据ELK（五）：Elasticsearch中的核心概念
2021年大数据ELK（二）： Elasticsearch简单介绍
2021年大数据ELK（一）：集中式日志协议栈Elastic Stack简介
Elasticsearch中的核心概念
一、索引 index
- 一个索引就是一个拥有几分相似特征的文档的集合。比如说，可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引
- 一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字
- 在一个集群中，可以定义任意多的索引。
二、映射 mapping
- ElasticSearch中的映射（Mapping）用来定义一个文档
- mapping是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认值、分析器、是否被索引等等，这些都是映射里面可以设置的
三、字段Field
相当于是数据表的字段，对文档数据根据不同属性进行的分类标识
四、类型 Type
每一个字段都应该有一个对应的类型，例如：Text、Keyword、Byte等
五、文档 document
一个文档是一个可被索引的基础信息单元。比如，可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式
六、集群 cluster
- 一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能
- 一个集群由一个唯一的名字标识，这个名字默认就是“elasticsearch”
- 这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群
七、节点 node
- 一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能
- 一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中
- 这意味着，如果在网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中
- 在一个集群里，可以拥有任意多个节点。而且，如果当前网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。
八、分片和副本 shards&replicas
1、分片
- 一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢
- 为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片
- 当创建一个索引的时候，可以指定你想要的分片的数量
- 每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上
- 分片很重要，主要有两方面的原因
- 允许水平分割/扩展你的内容容量
- 允许在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量
- 至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由Elasticsearch管理的，对于作为用户来说，这些都是透明的
2、副本
- 在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分片的一份或多份拷贝，这些拷贝叫做副本分片，或者直接叫副本
- 副本之所以重要，有两个主要原因
- 在分片/节点失败的情况下，提供了高可用性。注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的
- 扩展搜索量/吞吐量，因为搜索可以在所有的副本上并行运行
- 每个索引可以被分成多个分片。一个索引有0个或者多个副本
- 一旦设置了副本，每个索引就有了主分片和副本分片，分片和副本的数量可以在索引创建的时候指定
- 在索引创建之后，可以在任何时候动态地改变副本的数量，但是不能改变分片的数量
九、总结
ES中的相关的术语总结：
- index: 索引库 在一个ES中可以构建多个索引库的, 理解为MySQL中数据库, 或者 hbase 中 命名空间
- type: 类型 在一个索引库下 可以构建多个类型, 相当于在MySQL中一个数据库下面可以构建多个表, 或者在命名空间下构建多个表，ES在最新 6.x版本后, 已经不允许在一个索引库下有多个不同类型, 只允许有一个了
- filed: 字段 在索引库中, 可以有多个字段, 同时每个字段拥有数据类型的 , 类似于表中有多个字段, 每个字段有自己的类型
- document: 文档 描述的是索引库中一行数据, 一个文档就表示一行数据, 类型与 表中 row
- mapping: 映射 用于设置索引库中字段的数据类型, 比如说, 字段采用什么类型, 字段是否需要分词, 是否需要索引，是否需要保存(原始数据)....
- setting: 设置 用于对索引库设置 比如 设置索引库有多少个分片 多少个副本....
- cluster: 集群 表示ES的集群
- node: 节点 ES的各个节点
- shards: 分片 一个索引库可以被分为多个分片 默认为 5
- replicas: 副本 一个分片可以被分为多个副本 默认为 2
注意:
- 分片的数量不受节点的限制
- 副本的数据最多和节点的数量是一致的: 副本数量 <=节点的数量
- 副本一般为 :2 或者 3
- 📢博客主页：https://lansonli.blog.csdn.net
- 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
- 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
- 📢大数据系列文章会每天更新，停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨
2021年大数据elk：elasticsearch安装ik分词器插件(代码片段)
...面的知识重点。目录系列历史文章安装IK分词器一、下载ElasticsearchIK分词器二、切换到lanson用户，并在es的安装目录下/plugins创建ik三、将下载的ik分词器上传并解压到该目录四、将plugins下的ik目录分发到每一台服务器五、重启... 查看详情
2021年大数据elk：安装elasticsearch(代码片段)
...0c;帮助大家回顾前面的知识重点。目录系列历史文章安装Elasticsearch一、创建普通用户二、为普通用户添加sudo权限三、上传压缩包并解压四、修改配置文件1、修改elasticsearch.yml2、修改jvm.option五、将安装包分发到其他服务器上面... 查看详情
2021年大数据elk：elasticsearch简单介绍
...;帮助大家回顾前面的知识重点。目录系列历史文章 一、Elasticsearch简介1、介绍2、创始人二、Elasticsearch可以做什么1、信息检索2、企业内部系统搜索3、数据分析引擎三、Elasticsearch特点1、海量数据处理2、开箱即用 3、作为传统... 查看详情
2021年大数据elk：elasticsearch架构原理(代码片段)
...历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch架构原理一、Elasticsearch的节点类型1、Master节点2、DataNode节点二、分片和副本机制1、分片（Shard）2、副本3、指定分片、副本数量三、Elasticsea 查看详情
2021年大数据elk：安装elasticsearch(代码片段)
...0c;帮助大家回顾前面的知识重点。目录系列历史文章安装Elasticsearch一、创建普通用户二、为普通用户itcast添加sudo权限三、上传压缩包并解压四、修改配置文件1、修改elasticsearch.yml2、修改jvm.option五、将安装包分发到其他服务器... 查看详情
2021年大数据elk：elasticsearch中的核心概念
...，帮助大家回顾前面的知识重点。目录系列历史文章Elasticsearch中的核心概念一、索引index二、映射mapping三、字段Field四、类型Type五、文档document六、集群cluster七、节点node八、分片和副本shards&replicas 查看详情
2021年大数据elk：安装elasticsearch-head插件
...0c;帮助大家回顾前面的知识重点。目录系列历史文章安装Elasticsearch-head插件一、安装nodejs1、下载安装包2、创建软连接3、修改环境变量二、在线安装（网速慢，不推荐）1、在线安装必须依赖包2、从git上面克隆编译包 查看详情
2021年大数据elk：lucene的美文搜索案例(代码片段)
...系列历史文章2021年大数据ELK（六）：安装Elasticsearch2021年大数据ELK（五）：Elasticsearch中的核心概念2021年大数据ELK（四）：Lucene的美文搜索案例2021年大数据ELK（三）：Lucene全文检索... 查看详情
2021年大数据elk：lucene全文检索库介绍
...障系列历史文章2021年大数据ELK（六）：安装Elasticsearch2021年大数据ELK（五）：Elasticsearch中的核心概念2021年大数据ELK（四）：Lucene的美文搜索案例2021年大数据ELK（三）：Lucene全文检索... 查看详情
2021年大数据elk：elasticsearch安装ik分词器插件(代码片段)
...面的知识重点。目录系列历史文章安装IK分词器一、下载ElasticsearchIK分词器二、切换到lanson用户，并在es的安装目录下/plugins创建ik三、将下载的ik分词器上传并解压到该目录四、将plugins下的ik目录分发到每一台 查看详情
2021年大数据elk：集中式日志协议栈elasticstack简介(代码片段)
...介系列历史文章2021年大数据ELK（六）：安装Elasticsearch2021年大数据ELK（五）：Elasticsearch中的核心概念2021年大数据ELK（四）：Lucene的美文搜索案例2021年大数据ELK（三）：Lucene全文检索... 查看详情
2021年大数据elk：elasticsearch架构原理(代码片段)
...历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch架构原理一、Elasticsearch的节点类型1、Master节点2、DataNode节点二、分片和副本机制1、分片（Shard）2、副本3、指定分片、副本数量三、Elasticsearch重要工作流... 查看详情
2021年大数据elk（十三）：elasticsearch编程（添加职位数据）(代码片段)
...历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch编程一、添加职位数据1、初始化客户端连接2、实现关闭客户端连接3、编写代码实现新增职位数据4、编写测试用例测试添加方法Elasticsearch编程一、添加职位数据1... 查看详情
2021年大数据elk：elasticsearch编程（环境准备）(代码片段)
...历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch编程一、环境准备1、准备IDEA项目结构2、准备POM依赖3、创建用于保存职位信息的实体类4、编写接口和实现类 5、创建实现类Elasticsearch编程要将搜索的功能与前端... 查看详情
2021年大数据elk：集中式日志协议栈elasticstack简介(代码片段)
...简介系列历史文章 2021年大数据ELK（二）： Elasticsearch简单介绍2021年大数据ELK 查看详情
2021年大数据elk（二十五）：添加elasticsearch数据源
...文章目录，帮助大家回顾前面的知识重点。目录添加Elasticsearch数据源一、Kibana索引模式添加Elasticsearch数据源一、Kibana索引模式可以通过定义索引模式（IndexPatterns）来对应匹配Elasticsearch索引。在第一次访问Kibana的时... 查看详情
2021年大数据elk（十五）：elasticsearchsql简单介绍(代码片段)
...历史文章目录，帮助大家回顾前面的知识重点。目录ElasticsearchSQL简单介绍一、SQL与Elasticsearch对应关系二、ElasticsearchSQL语法ElasticsearchSQL简单介绍ElasticsearchSQL允许执行类SQL的查询，可以使用REST接口、命令行或者是JDBC，... 查看详情
2021年大数据elk（二十三）：kibana简介
...源的数据分析和可视化平台，使用Kibana可以用来搜索Elasticsearch中的数据，构建漂亮的可视化图形、以及制作一些好看的仪表盘Kibana是用来管理Elasticstack组件的可视化平台。例如：使用Kibana可以进行一些安全设置、用... 查看详情