es扩容实战记录

qianxiaoruofeng qianxiaoruofeng     2023-04-10     663

关键词:

在IT运维工作中我们使用elasticsearch 作为上百万大数据查询的工具,我们经常会遇到es 内存不足导致es集群分片 损坏的情况,

介于以上情况,我在这里为大家提供es 集群扩容的正确操作方式

我这里使用两台es作为数据节点,分别是es1 和es2,为了将两台服务器节点都从4G调整到16G,

调整前提为整个集群中必须有一台服务器的分片是完整的,否者会导致分片不完整,集群恢复失败,扩容失败!!!

首先使用命令 free -m 检查系统内存大小,ezsonar4.0 中我们使用的是es 5.6 版本的elastirsearch ,

使用head 查看集群状况此时集群是正常状况。

关闭es2 进程经行扩容操作

ps -ef |grep elastic

kill -9 es_pid

关闭进程后es集群报错为红色状态

内存的修改配置文件是/ES_HOME/config/jvm.options

将4G 修改未16G ,es内存最好修改为系统内存的50%,我的这台服务器内存为32G ,最佳内存为16G.

cd /ES_HOME/bin/

./startup.sh

ps -ef |grep elastic

top追踪查看内存消耗情况,

使用head 查看系统情况依然是不可以使用的,但是观察重启以后发现系统内存在逐渐被快速读取使用,到这里你可以放心了,

在恢复过程中你会看到如下情况,集群会从红色变成黄色,然后再变成绿色。下面是正在恢复过程中的情况。不过这个实践会很长

上面我们是扩容恢复es2,然后恢复完成后,

昨晚es2 隔一天我在下午下班时间段做了es1扩容,方式和上面一样,我就不重复了,今天早上查看扩容恢复正常结果如下图所示。

有没有点赞的,来一个,你的赞都是鼓励啊。

linux12企业实战--25kfcappcommon服务器扩容

文章目录KFCappcommon服务器扩容一、根据包cmdb查找对应的ip,并查看主机群组二、jenkins发布1、EC检查服务器2、扩容3、检查是否安装filbeat4、安装filebeat5、启动服务6、检查机器7、补充1、常规扩容的文件2、查看扩容的机器数量3、... 查看详情

数据库扩容也可以如此丝滑,mysql千亿级数据生产环境扩容实战

数据库平滑扩容目录1:理解传统扩容实现方案2:理解平滑扩容双写方案3:掌握数据库2N扩容方案4:实现数据库双主同步5:掌握ShardingJDBC路由以及动态扩容技术6:掌握KeepAlived+MariaDB数据库高可用方案1.扩容方案剖析1.1扩容问题... 查看详情

数据库扩容也可以如此丝滑,mysql千亿级数据生产环境扩容实战

数据库平滑扩容目录1:理解传统扩容实现方案2:理解平滑扩容双写方案3:掌握数据库2N扩容方案4:实现数据库双主同步5:掌握ShardingJDBC路由以及动态扩容技术6:掌握KeepAlived+MariaDB数据库高可用方案1.扩容方案剖析1.1扩容问题... 查看详情

es集群扩容-新增一个节点

Elasticsearch群集是一组具有相同cluster.name属性的节点。当节点加入或离开集群时,集群会自动重新组织自身,以便在可用节点之间均匀分布数据。ES可实现在线扩集群。一实验环境IP节点名称备注集群名称192.168.144.246node-1集... 查看详情

es集群扩容-新增一个节点

Elasticsearch群集是一组具有相同cluster.name属性的节点。当节点加入或离开集群时,集群会自动重新组织自身,以便在可用节点之间均匀分布数据。ES可实现在线扩集群。一实验环境IP节点名称备注集群名称192.168.144.246node-1集... 查看详情

linux12企业实战--36nodejs扩容

...器是否可用2、安装nodejs1、验证结果2、机器验证四、nodejs扩容1、查找包信息2、填入jenkins参数3、nodejs发版1、在CMDB找到对应的包上找到应用版本2、在jenkins上找到对应的job3、填入对应参数,点击开始构建并查看控制台输出,出现... 查看详情

elk专栏之es内部机制-03(代码片段)

...ES分布式基础ES对复杂分布式机制的透明隐藏特性ES的垂直扩容和水平扩容增加和减少节点,数据重新分配master节点节点对等的分布式架构分片shard、副本replica机制单Node(节点)环境下创建index两个Node(节点)... 查看详情

动态扩容lvm逻辑卷的操作记录

   查看详情

es实战es分页与去重(代码片段)

Search的分页与去重介绍ES分页和ES去重的实现方式。文章目录Search的分页与去重简单分页`from+size`深度分页`searchafter``scroll`字段折叠(去重)`FieldCollapsing`展开折叠结果Expandcollapseresults二级折叠Sec... 查看详情

elasticsearch实战(十六)-索引模板(代码片段)

         记录在工作中生产的数据按月保存在ES中(通过logstash采集kafka数据到ES),由于生产环境数据量比较庞大(一天的日志量大概在2500万条左右),如果不创建索引模板则会导致存储的数据类... 查看详情

elasticsearch实战(十六)-索引模板(代码片段)

         记录在工作中生产的数据按月保存在ES中(通过logstash采集kafka数据到ES),由于生产环境数据量比较庞大(一天的日志量大概在2500万条左右),如果不创建索引模板则会导致存储的数据类... 查看详情

es实战es分词器介绍(代码片段)

文章目录ES分词器介绍什么是分词器分词器的组成CharacterfiltersTokenizersTokenfilters分词的过程写入时分词搜索时分词测试分词效果分词器的分类使用示例以StandardAnalyzer为例测试分析效果其他:Normalizers(规范器)ES分词器... 查看详情

【es从入门到实战】五、全文检索-elasticsearch-入门-put&post新增数据

参考技术A保存一个数据,保存在哪个索引的哪个类型下,指定用哪个唯一标识PUTcustomer/external/1;在customer索引下的external类型下保存1号数据为在postman地址栏中输入http://192.168.56.10:9200/customer/external/1,使用put方法,输入参数体:... 查看详情

[es]elasticsearch总结(代码片段)

...xff09;1 发现机制2 节点角色3 脑裂现象四 elasticsearch集群扩容和容灾1 集群健康2主分片和复制分片3 扩容4 集群容灾五 ES索引和 查看详情

java与es8实战之二:实战前的准备工作(代码片段)

...ff1a;https://github.com/zq2599/blog_demos本篇概览本篇是《java与es8实战》系列的第二篇,主要任务是为动手实战做好准备工作,包括这些内容借助docker,快速部署es服务借助docker-compose,以更简单的方式部署es 查看详情

java与es8实战之二:实战前的准备工作(代码片段)

...ff1a;https://github.com/zq2599/blog_demos本篇概览本篇是《java与es8实战》系列的第二篇,主要任务是为动手实战做好准备工作,包括这些内容借助docker,快速部署es服务借助docker-compose,以更简单的方式部署es 查看详情

es实战es-hadoop中的配置项说明(代码片段)

文章目录Configuration配置必要配置Dynamic/multiresourcewritesFormattingdynamic/multiresourcewrites基本配置NetworkQueryingOperationMapping(whenwritingtoElasticsearch)Fieldinformation(whenreadingfromElasticsearch)Meta 查看详情

mycat实战之分片迁移

实践扩容1.要求:travelrecord表定义为10个分片,尝试将10个分片中的2个分片转移到第二台MySQL上,并完成记录要求,最快的数据迁移做法,中断业务时间最短2.针对分片以及迁移方式mycat中分片可以理解为dbn而dbn可以是单独datahost中的某个d... 查看详情