生产环境中的 Elasticsearch 配置和最佳实践

     2023-02-19     229

关键词:

【中文标题】生产环境中的 Elasticsearch 配置和最佳实践【英文标题】:Elasticsearch configuration and best practices in production 【发布时间】:2022-01-14 05:49:44 【问题描述】:

我是使用 ELK 堆栈的新手,我正在处理存储在物理服务器上的 10 TB,所以如果有关于多少数据节点的建议,主节点..我应该需要使用,最佳实践配置我们的集群以在生产中顺利运行,以及是否有其他工具或技术与 Elasticsearch 一起使用以提高性能

【问题讨论】:

【参考方案1】:

@ameur 你可以参考这些页面:

https://www.elastic.co/guide/en/elasticsearch/reference/current/general-recommendations.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/tune-for-indexing-speed.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/tune-for-search-speed.html

关于主节点,您应该至少有 3 个节点(如果可能,请选择 5 个节点)。 对于数据节点,涉及多个因素 - 例如: RAM,CPU,磁盘等资源 吞吐量,如 qpa、wps 等。

所以没有直接的答案,你需要做一些性能测试才能得到正确的数字。

别忘了阅读分片策略https://www.elastic.co/guide/en/elasticsearch/reference/current/size-your-shards.html

【讨论】:

三个master-eligible节点绰绰有余,不需要五个。 配置我的 3 节点主机的最佳方式是什么?

elasticsearch部署架构和容量规划

参考技术A前面介绍了ElasticSearch原理和使用相关的内容,在生产环境如何比较科学的进行容量规划、部署、调优、排查问题呢,业界和官方也对相关的问题进行总结,我这边也结合自己的经验对这些使用ElasticSearch经常遇到的问题... 查看详情

elasticsearch7.5.0+kibana-7.5.0+cerebro-0.8.5集群生产环境安装配置及通过elasticsearch-migration工具做新老集群数据迁移

...系统初始化:https://www.cnblogs.com/mkxfs/p/12030331.html三、安装elasticsearch7.5.01.因zookeeper和kafka需要java启动首先安装jdk1.8环境yuminstalljava-1.8.0-openjdk-devel.x86_64-y2.官网下载es7.5.0cd/optwgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.... 查看详情

为开发和生产环境配置 CSS 中的图像路径

】为开发和生产环境配置CSS中的图像路径【英文标题】:ConfigurepathtoimagesinCSSfordevandproductionenvironments【发布时间】:2011-03-1609:43:10【问题描述】:我目前正在开发一个网站,并且我的本地环境托管在带有IIS5.1的XP机器上。我正在... 查看详情

用于生产的最佳和最安全的 Java Profiler? [关闭]

】用于生产的最佳和最安全的JavaProfiler?[关闭]【英文标题】:BestandsafestJavaProfilerforproductionuse?[closed]【发布时间】:2011-04-0400:35:54【问题描述】:我正在寻找一个JavaProfiler,用于满足以下所有要求的高需求生产环境,无论是商... 查看详情

eleasticsearch重要配置

elasticsearch重要配置=====================================日志和数据目录-----------------path:   logs:/var/log/elasticsearch   data:/var/data/elasticsearch   注意:生产环境最 查看详情

生产环境中的 CloudKit 自定义区域

】生产环境中的CloudKit自定义区域【英文标题】:CloudKitCustomZonesinProductionEnvironment【发布时间】:2018-03-2200:32:23【问题描述】:iCloud集成在开发环境中有效,在生产环境中失败。似乎自定义记录区域没有与记录类型一起部署。请... 查看详情

elk中的elasticsearch集群的部署

本文内容背景ES集群中第一个master节点ESslave节点本文总结Elasticsearch(以下简称ES)搭建集群的经验。以Elasticsearch-rtf-2.2.1版本为例。我搭过三个集群:研究ELK时搭了一个;测试环境搭了一个;生产环境搭了一个。回想起来,搭建... 查看详情

springbootspringboot项目设置多个配置文件,并在生产环境中的tomcat设置对应的配置文件

...配置spring.profiles.active=dev2、设置服务器中Tomcat参数,调用生产环境配置打开Tomcat配置软件增加配置-Dspring.profiles.active="pro"重新启动Tomcat即可&n 查看详情

elasticsearchjvm配置

参考技术AElasticsearch是基于Java构建的,需要至少Java8来运行它。只支持Oracle的Java和OpenJDK。所有Elasticsearch节点和客户机都应该使用相同的JVM版本。我们推荐您安装Java1.8.0_131版本或者Java8发行版系列的后续版本。我们推荐您使用LTSJ... 查看详情

elk架构之elasticsearch和kibana安装配置(代码片段)

阅读目录:1.ELKStack简介2.环境准备3.安装Elasticsearch4.安装Kibana5.Kibana使用6.Elasticsearch命令最近在开发分布式服务追踪,使用SpringCloudSleuthZipkin+Stream+RabbitMQ中间件,默认使用内存存储数据,但这样应用于生产环境,就不太合适了。... 查看详情

企业中的软件开发——开发环境测试环境镜像环境与生产环境的区别

...的分支,一般是feature分支。测试环境:一般是克隆一份生产环境的配置,一个程序在测试环境工作不正常,那么就肯定不能把它发布到生产服务器上,是开发环境到生产环境的过渡环境。测试环境的分支一般是develop分支,部署... 查看详情

elasticsearch5.3.0在windows中的开发环境搭建

第一步:下载ES,链接[https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.0.zip]第二步:修改ES配置文件,在末尾加上      http.cors.enabled:true       查看详情

elasticsearch7.8.0版本环境——集群部署(win10系统)

目录一、Elasticsearch7.8.0版本官网下载步骤二、部署集群步骤2.1、复制三个elasticsearch服务2.2、修改每个服务的elasticsearch.yml配置文件三、启动集群步骤四、测试集群步骤4.1、查看各节点集群状态4.2、节点集群状态返回的status属性解... 查看详情

kubernetes日志采集工具log-pilot使用

...t解决问题:kubernetes1.15以上版本官方tomcat实例在本方案的Elasticsearch场景下,环境变量中的name即是catalina和access。Log-Pilot支持声明式日志配置,可以依据容器的Label或者ENV来动态地生成日志采集配置文件。这里重点说明两个变量:... 查看详情

剑圣环境配置

...:2011-03-1500:44:22【问题描述】:我正在尝试弄清楚如何在生产环境中运行Juggernaut服务器-假设我能够在开发和生产环境中为服务器配置不同的端口,因为我无法控制生产环境中的端口.并且还假设服务器将以“分离”模式启动?非... 查看详情

elasticsearch环境配置

简介ElasticSearch是一个开源的分布式搜索引擎,具备高可靠性,支持非常多的企业级搜索用例,是基于Lucene构建的。支持时间时间索引和全文检索。官网:http://www.elasticsearch.org它对外提供一系列基于java和http的api,用于索引、检... 查看详情

明白生产环境中的jvm参数(代码片段)

明白生产环境中的jvm参数写代码的时候,程序写完了,发到线上去运行,跑一段时间后,程序变慢了,cpu负载高了……一堆问题出来了,所以了解一下生产环境的机器上的jvm配置是有必要的。比如说:JDK版本是多少?采用何种垃... 查看详情

elk在生产环境的简单应用

一、简析ELK ELK是三个开源软件的缩写,分别表示:Elasticsearch,Logstash,Kibana,它们都是开源软件。 Elasticsearch:可以理解成一个仓库 Logstash:过滤器,分析器,重量级的日志收集工具 Kibana:图形化的展示,日志的进一... 查看详情