elasticsearch——简介&安装

张起灵-小哥 张起灵-小哥     2022-12-25     647

关键词:

1.Elasticsearch是什么?

The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash(也称为 ELK Stack)。能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化。Elaticsearch,简称为 ES, ES 是一个开源的高扩展的分布式全文搜索引擎,是整个 Elastic Stack 技术栈的核心。它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理 PB 级别的数据。


2.全文搜索引擎

Google,百度类的网站搜索,它们都是根据网页中的关键字生成索引,我们在搜索的时候输入关键字,它们会将该关键字即索引匹配到的所有网页返回;还有常见的项目中应用日志的搜索等等。对于这些非结构化的数据文本,关系型数据库搜索不是能很好的支持。一般传统数据库,全文检索都实现的很鸡肋,因为一般也没人用数据库存文本字段。进行全文检索需要扫描整个表,如果数据量大的话即使对 SQL 的语法优化,也收效甚微。建立了索引,但是维护起来也很麻烦,对于 insert 和 update 操作都会重新构建索引。基于以上原因可以分析得出,在一些生产环境中,使用常规的搜索方式,性能是非常差的:

  • 搜索的数据对象是大量的非结构化的文本数据。
  • 文件记录量达到数十万或数百万个甚至更多。
  • 支持大量基于交互式文本的查询。
  • 需求非常灵活的全文搜索查询。
  • 对高度相关的搜索结果的有特殊需求,但是没有可用的关系数据库可以满足。
  • 对不同记录类型、非文本数据操作或安全事务处理的需求相对较少的情况。

为了解决结构化数据搜索和非结构化数据搜索性能问题,我们就需要专业,健壮,强大的全文搜索引擎。这里说到的全文搜索引擎指的是目前广泛应用的主流搜索引擎。它的工作原理是计算机索引程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数和位置,当用户查询时,检索程序就根据事先建立的索引进行查找,并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。


3.Elasticsearch的应用案例

  • GitHub: 2013 年初,抛弃了 Solr,采取 Elasticsearch 来做 PB 级的搜索。“GitHub 使用Elasticsearch 搜索 20TB 的数据,包括 13 亿文件和 1300 亿行代码”。
  • 维基百科:启动以 Elasticsearch 为基础的核心搜索架构
  • SoundCloud:“SoundCloud 使用 Elasticsearch 为 1.8 亿用户提供即时而精准的音乐搜索服务”。
  • 百度:目前广泛使用 Elasticsearch 作为文本数据分析,采集百度所有服务器上的各类指标数据及用户自定义数据,通过对各种数据进行多维分析展示,辅助定位分析实例异常或业务层面异常。目前覆盖百度内部 20 多个业务线(包括云分析、网盟、预测、文库、直达号、钱包、风控等),单集群最大 100 台机器,200 个 ES 节点,每天导入 30TB+ 数据。
  • 新浪:使用 Elasticsearch 分析处理 32 亿条实时日志。
  • 阿里:使用 Elasticsearch 构建日志采集和分析体系。
  • Stack Overflow:解决 Bug 问题的网站,全英文,编程人员交流的网站。

4.Elasticsearch的下载、安装、运行

Elasticsearch 的官方地址:https://www.elastic.co/cn/

下载地址:https://www.elastic.co/cn/downloads/past-releases#elasticsearch

Elasticsearch 分为 Linux 和 Windows 版本,未来在企业里肯定是要用linux版本的,并且还要搭建集群。那么这里我学习ES为了方便、快速掌握,就采用windows版本了。

下载完成之后,是一个压缩包,直接解压就可以了。

  • bin 可执行脚本目录
  • config 配置目录
  • jdk 内置 JDK 目录(ES是采用Java语言开发的)
  • lib 类库
  • logs 日志目录
  • modules 模块目录
  • plugins 插件目录

解压后,进入 bin 文件目录,点击 elasticsearch.bat 文件启动 ES 服务。

注意:9300 端口为 Elasticsearch 集群间组件的通信端口,9200 端口为浏览器访问的 http 协议的 RESTful 端口。 


5.有关RESTful

REST 指的是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是 RESTful。Web 应用程序最重要的 REST 原则是,客户端和服务器之间的交互在请求之间是无状态的。从客户端到服务器的每个请求都必须包含理解请求所必需的信息。如果服务器在请求之间的任何时间点重启,客户端不会得到通知。此外,无状态请求可以由任何可用服务器回答,这十分适合云计算之类的环境。客户端可以缓存数据以改进性能。

在服务器端,应用程序状态和功能可以分为各种资源。资源是一个有趣的概念实体,它向客户端公开。资源的例子有:应用程序对象、数据库记录、算法等等。每个资源都使用 URI(Universal Resource Identifier) 得到一个唯一的地址。所有资源都共享统一的接口,以便在客户端和服务器之间传输状态。使用的是标准的 HTTP 方法,比如 GET、PUT、POST 和 DELETE。

在 REST 样式的 Web 服务中,每个资源都有一个地址。资源本身都是方法调用的目标,方法列表对所有资源都是一样的。这些方法都是标准方法,包括 HTTP GET、POST、PUT、DELETE,还可能包括 HEAD 和 OPTIONS。简单的理解就是,如果想要访问互联网上的资源,就必须向资源所在的服务器发出请求,请求体中必须包含资源的网络路径,以及对资源进行的操作(增删改查)。

elasticsearch系列一:elasticsearch(es简介安装&配置集成ikanalyzer)

一、ES简介1.ES是什么?Elasticsearch是一个开源的搜索引擎,建立在全文搜索引擎库ApacheLucene基础之上用Java编写的,它的内部使用Lucene做索引与搜索,但是它的目的是使全文检索变得简单,通过隐藏Lucene的复杂性... 查看详情

七十九elasticsearch的简介与安装(代码片段)

    本文我们来看一下一个非常常用的搜索引擎——ElasticSearch。关注专栏《破茧成蝶——大数据篇》,查看更多相关的内容~目录一、ElasticSearch的概述1.1 ElasticSearch的简介1.2 ElasticSearch的特点1.3 同类产品的对比二、ElasticSe... 查看详情

elasticsearch概述与安装(代码片段)

ElasticSearch学习笔记一ElasticSearch概述ElasticSearch、Solr和Lucene对比1、ElasticSearch简介2、Solr简介3、Lucene简介4、ElasticSearch与Solr比较ElasticSearchvsSolr总结安装软件ElasticSearch(Windows上)安装eshead可视化界面了解ELK安装kibanaEl 查看详情

elasticsearch简介和安装对比

...又到了本期分享大数据技术的时间,本次给大伙带来的是Elasticsearch这个技术,闲话不多聊,我们开始进入正题。一、什么是elasticsearchElasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中,能够达到实时... 查看详情

1.es简介,安装

  ElasticSearch:用于存储和搜索日志,分析日志LogStash:用于收集日志(把所有日志收集到一个地方)Kibana:用于日志的web展示ElasticSearch简介: ElasticSearch集群: 环境:centos7方式:1.安装https://www.elastic.co/guide/en/elasticsearch/referen 查看详情

20170805_elasticsearch_简介和安装

官网地址:https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.htmlElk是一个可高度扩展的搜索和分析引擎,能实时的存储,搜索和分析大量数据.ELK可以做什么:  1) 和在线网络商店关联,存储销售产品信息,为客户自动提... 查看详情

elasticsearch笔记整理:简介rest与安装配置(代码片段)

[TOC]ElasticSearch简介ElasticSearch是一款基于ApacheLucene构建的开源搜索引擎,它采用Java编写并使用Lucene构建索引、提供搜索功能,ElasticSearch的目标是让全文搜索变得简单,开发者可以通过它简单明了的RestFulAPI轻松地实现搜索功能,... 查看详情

七十九elasticsearch的简介与安装(代码片段)

    本文我们来看一下一个非常常用的搜索引擎——ElasticSearch。关注专栏《破茧成蝶——大数据篇》,查看更多相关的内容~目录一、ElasticSearch的概述1.1 ElasticSearch的简介1.2 ElasticSearch的特点1.3 同类产品的对比二、ElasticSe... 查看详情

elasticsearch入门简介及部署(代码片段)

Elasticsearch入门(一)简介及部署简介ES存储结构部署准备工作新建用户免密钥修改资源配置ES部署安装单机修改配置分发启动es-head部署配置依赖安装单机修改配置启动IK分词器部署安装单机分发启动简介传统的索引是根据... 查看详情

elasticsearch01_简介安装es以及kibana详解倒排索引检索es基本信息增删改查文档(代码片段)

文章目录①.ElasticSearch简介②.安装elasticSearch、kibana7.4.2③.详解倒排索引④.检索es基本信息⑤.增删改查文档①.ElasticSearch简介①.Elaticsearch,简称为es,是一个基于Lucene的搜索服务器。它提供了一个分布式多用户功能的全文搜索引擎,... 查看详情

elasticsearch安装中文分词器(代码片段)

发车   为什么要在elasticsearch中要使用ik这样的中文分词呢,那是因为es提供的分词是英文分词,对于中文的分词就做的非常不好了,因此我们需要一个中文分词器来用于搜索和使用。今天我们就尝试安装下IK分词。上... 查看详情

java软件安装之elasticsearch(代码片段)

文章目录前言简介Elasticsearch安装安装Kibana安装分词器安装步骤前言Elasticsearch作为主流的搜索引擎,在分布式系统中被广泛的使用,本篇主要就是介绍它的安装简介官网地址:https://www.elastic.co/cn/elasticsearch/Elasticsearch... 查看详情

elasticsearch--简介

  ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTfulweb接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云... 查看详情

elasticsearch集群安装(代码片段)

...:1核2gjdk1.8+  1.下载wgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.tar.gz  2.解压tar-zxvfelasticsearch-6.2.2.tar.gz  3.设置权限chmod-R777elasticsearch-6.2.2  4.添加非root用户adduserwulei&&passwdwulei参考https://blog.csdn.net/u0... 查看详情

elasticsearch之插件介绍及安装

...介:监控es状态的插件,推荐!【目前不支持2.x】  2、ElasticsearchHeadPlugin(作者BenBirch)(主要)    简介:很方便对es进行各种操作的客户端。  3、kopfPlugin(作者lmenezes)(主要)    Kopf是一个ElasticSea 查看详情

elasticsearch+head插件+kibana安装(代码片段)

Elasticsearch+head插件+kibana安装ELK下载地址安装最低要求:JDK1.8ELK下载地址:ElasticSearch:https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=Dlogstash:https://mirrors.huaweicloud.com/logstash/?C=N&O=D可视化界面elas 查看详情

elasticsearcho从入门到放弃:简介,lucene,概念,安装(代码片段)

...通用户添加sudo权限1.3准备安装包1.4修改配置文件1.4.1修改elasticsearch.yml1.4.2修改jvm.option1.5配置其他节点1.6修改系统配置,解决启动问题1.6.1打开文件的最大数限制;1.6.2启动线程数限制1.6.3调大虚拟内存1.7启动es2.使用Docker3.Elasticsearch-... 查看详情

elasticsearch一文读懂(代码片段)

目录1、Elasticsearch简介2、Docker安装 Elasticsearch2.1使用Docker安装ElasticSearch7.6.22.2Elasticsearch目录详解2.3 使用Docker安装elasticSearch--head通过Chrome插件安装ElasticSearch-head  2.4了解ELKELK功能结构图Docker安装Kibana 3ElasticSe 查看详情