关键词：
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！
新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。
目录
系列历史文章
2021年大数据ELK（二）： Elasticsearch简单介绍
2021年大数据ELK（一）：集中式日志协议栈Elastic Stack简介
一、Elasticsearch简介
https://www.elastic.co/cn/elasticsearch
1、介绍
- Elasticsearch是一个基于Lucene的搜索服务器、
- 提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口
- Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的
- 根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr，也是基于Lucene。
2、创始人
Shay Banon （谢巴农）
二、Elasticsearch可以做什么
1、信息检索
电商 / 门户 / 论坛
2、企业内部系统搜索
- 关系型数据库使用like进行模糊检索，会导致索引失效，效率低下
- 可以基于Elasticsearch来进行检索，效率杠杠的
OA / CRM / ERP
3、数据分析引擎
Elasticsearch 聚合可以对数十亿行日志数据进行聚合分析，探索数据的趋势和规律。
三、Elasticsearch特点
1、海量数据处理
- 大型分布式集群（数百台规模服务器）
- 处理PB级数据
- 小公司也可以进行单机部署
2、开箱即用
- 简单易用，操作非常简单
- 快速部署生产环境
3、作为传统数据库的补充
- 传统关系型数据库
- 排名、海量数据存储、分析等功能
- Elasticsearch可以作为传统关系数据库的补充，提供RDBM无法提供的功能
四、哪些公司在使用Elasticsearch
- 京东
- 携程
- 去哪儿
- 58同城
- 滴滴
- 今日头条
- 小米
- 哔哩哔哩
- 联想
- 思科
- Airbus
- ebay
- 暴雪
- 德国大众
- 微软
- Symantec
- BBC
- 英伟达
- Uber
- IBM
- Github
- Docker
五、ElasticSearch使用案例
- 2013年初，GitHub抛弃了Solr，采取ElasticSearch 来做PB级的搜索。 “GitHub使用ElasticSearch搜索20TB的数据，包括13亿文件和1300亿行代码”
- 维基百科：启动以elasticsearch为基础的核心搜索架构
- SoundCloud：“SoundCloud使用ElasticSearch为1.8亿用户提供即时而精准的音乐搜索服务”
- 百度：百度目前广泛使用ElasticSearch作为文本数据分析，采集百度所有服务器上的各类指标数据及用户自定义数据，通过对各种数据进行多维分析展示，辅助定位分析实例异常或业务层面异常。目前覆盖百度内部20多个业务线（包括casio、云分析、网盟、预测、文库、直达号、钱包、风控等），单集群最大100台机器，200个ES节点，每天导入30TB+数据
- 新浪使用ES 分析处理32亿条实时日志
- 阿里使用ES 构建挖财自己的日志采集和分析体系
六、ElasticSearch对比Solr
- Solr 利用 Zookeeper 进行分布式管理，而 Elasticsearch 自身带有分布式协调管理功能;
- Solr 支持更多格式的数据，而 Elasticsearch 仅支持json文件格式；
- Solr 官方提供的功能更多，而 Elasticsearch 本身更注重于核心功能，高级功能多有第三方插件提供；
- Solr 在传统的搜索应用中表现好于 Elasticsearch，但在处理实时搜索应用时效率明显低于 Elasticsearch
七、发展历史
- 2004年，发布第一个版本名为Compass的搜索引擎，创建搜索引擎的目的主要是为了搜索食谱
- 2010年，发布第二个版本更名为Elasticsearch，基于Apache Lucene开发并开源
- 2012年，创办Elasticsearch公司
- 2015年，Elasticsearch公司更名为Elastic，是专门从事与Elasticsearch相关的商业服务，并衍生了Logstash和Kibana两个项目，填补了在数据采集、数据可视化的空白。于是，ELK就诞生了
- 2015年，Elastic公司将开源项目Packetbeat整合到Elasticsearch技术栈中，并更名为Beats，它专门用于数据采集的轻量级组件，可以将网络日志、度量、审计等各种数据作为不同的源头发送到Logstash或者Elasticsearch
- ELK不再包括Elastic公司所有的开源项目，ELK开始更名为Elastic Stack，将来还有更多的软件加入其中，包括数据采集、清洗、传输、存储、检索、分析、可视化等
- 2018年，Elastic公司在纽交所挂牌上市
- 📢博客主页：https://lansonli.blog.csdn.net
- 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
- 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
- 📢大数据系列文章会每天更新，停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨
2021年大数据elk：elasticsearch安装ik分词器插件(代码片段)
...面的知识重点。目录系列历史文章安装IK分词器一、下载ElasticsearchIK分词器二、切换到lanson用户，并在es的安装目录下/plugins创建ik三、将下载的ik分词器上传并解压到该目录四、将plugins下的ik目录分发到每一台服务器五、重启... 查看详情
2021年大数据elk：安装elasticsearch(代码片段)
...0c;帮助大家回顾前面的知识重点。目录系列历史文章安装Elasticsearch一、创建普通用户二、为普通用户添加sudo权限三、上传压缩包并解压四、修改配置文件1、修改elasticsearch.yml2、修改jvm.option五、将安装包分发到其他服务器上面... 查看详情
2021年大数据elk：elasticsearch简单介绍
...;帮助大家回顾前面的知识重点。目录系列历史文章 一、Elasticsearch简介1、介绍2、创始人二、Elasticsearch可以做什么1、信息检索2、企业内部系统搜索3、数据分析引擎三、Elasticsearch特点1、海量数据处理2、开箱即用 3、作为传统... 查看详情
2021年大数据elk：elasticsearch架构原理(代码片段)
...历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch架构原理一、Elasticsearch的节点类型1、Master节点2、DataNode节点二、分片和副本机制1、分片（Shard）2、副本3、指定分片、副本数量三、Elasticsea 查看详情
2021年大数据elk：安装elasticsearch(代码片段)
...0c;帮助大家回顾前面的知识重点。目录系列历史文章安装Elasticsearch一、创建普通用户二、为普通用户itcast添加sudo权限三、上传压缩包并解压四、修改配置文件1、修改elasticsearch.yml2、修改jvm.option五、将安装包分发到其他服务器... 查看详情
2021年大数据elk：elasticsearch中的核心概念
...，帮助大家回顾前面的知识重点。目录系列历史文章Elasticsearch中的核心概念一、索引index二、映射mapping三、字段Field四、类型Type五、文档document六、集群cluster七、节点node八、分片和副本shards&replicas 查看详情
2021年大数据elk：安装elasticsearch-head插件
...0c;帮助大家回顾前面的知识重点。目录系列历史文章安装Elasticsearch-head插件一、安装nodejs1、下载安装包2、创建软连接3、修改环境变量二、在线安装（网速慢，不推荐）1、在线安装必须依赖包2、从git上面克隆编译包 查看详情
2021年大数据elk：lucene的美文搜索案例(代码片段)
...系列历史文章2021年大数据ELK（六）：安装Elasticsearch2021年大数据ELK（五）：Elasticsearch中的核心概念2021年大数据ELK（四）：Lucene的美文搜索案例2021年大数据ELK（三）：Lucene全文检索... 查看详情
2021年大数据elk：lucene全文检索库介绍
...障系列历史文章2021年大数据ELK（六）：安装Elasticsearch2021年大数据ELK（五）：Elasticsearch中的核心概念2021年大数据ELK（四）：Lucene的美文搜索案例2021年大数据ELK（三）：Lucene全文检索... 查看详情
2021年大数据elk：elasticsearch安装ik分词器插件(代码片段)
...面的知识重点。目录系列历史文章安装IK分词器一、下载ElasticsearchIK分词器二、切换到lanson用户，并在es的安装目录下/plugins创建ik三、将下载的ik分词器上传并解压到该目录四、将plugins下的ik目录分发到每一台 查看详情
2021年大数据elk：集中式日志协议栈elasticstack简介(代码片段)
...介系列历史文章2021年大数据ELK（六）：安装Elasticsearch2021年大数据ELK（五）：Elasticsearch中的核心概念2021年大数据ELK（四）：Lucene的美文搜索案例2021年大数据ELK（三）：Lucene全文检索... 查看详情
2021年大数据elk：elasticsearch架构原理(代码片段)
...历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch架构原理一、Elasticsearch的节点类型1、Master节点2、DataNode节点二、分片和副本机制1、分片（Shard）2、副本3、指定分片、副本数量三、Elasticsearch重要工作流... 查看详情
2021年大数据elk（十三）：elasticsearch编程（添加职位数据）(代码片段)
...历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch编程一、添加职位数据1、初始化客户端连接2、实现关闭客户端连接3、编写代码实现新增职位数据4、编写测试用例测试添加方法Elasticsearch编程一、添加职位数据1... 查看详情
2021年大数据elk：elasticsearch编程（环境准备）(代码片段)
...历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch编程一、环境准备1、准备IDEA项目结构2、准备POM依赖3、创建用于保存职位信息的实体类4、编写接口和实现类 5、创建实现类Elasticsearch编程要将搜索的功能与前端... 查看详情
2021年大数据elk：集中式日志协议栈elasticstack简介(代码片段)
...简介系列历史文章 2021年大数据ELK（二）： Elasticsearch简单介绍2021年大数据ELK 查看详情
2021年大数据elk（二十五）：添加elasticsearch数据源
...文章目录，帮助大家回顾前面的知识重点。目录添加Elasticsearch数据源一、Kibana索引模式添加Elasticsearch数据源一、Kibana索引模式可以通过定义索引模式（IndexPatterns）来对应匹配Elasticsearch索引。在第一次访问Kibana的时... 查看详情
2021年大数据elk（十五）：elasticsearchsql简单介绍(代码片段)
...历史文章目录，帮助大家回顾前面的知识重点。目录ElasticsearchSQL简单介绍一、SQL与Elasticsearch对应关系二、ElasticsearchSQL语法ElasticsearchSQL简单介绍ElasticsearchSQL允许执行类SQL的查询，可以使用REST接口、命令行或者是JDBC，... 查看详情
2021年大数据elk（二十三）：kibana简介
...源的数据分析和可视化平台，使用Kibana可以用来搜索Elasticsearch中的数据，构建漂亮的可视化图形、以及制作一些好看的仪表盘Kibana是用来管理Elasticstack组件的可视化平台。例如：使用Kibana可以进行一些安全设置、用... 查看详情