elkdocker6.elasticsearch集群启动多节点+解决es节点集群状态为yellow

sxdcgaq8080 sxdcgaq8080     2023-03-09     763

关键词:

本章其实是ELK第二章的插入章节。

=====================================================================================

ELK系列的示例中,启动的是单个的ES节点。

 系列文章:

【ELK】【docker】【elasticsearch】1. 使用Docker和Elasticsearch+ kibana 5.6.9 搭建全文本搜索引擎应用 集群,安装ik分词器

【ELK】【docker】【elasticsearch】2.使用elasticSearch+kibana+logstash+ik分词器+pinyin分词器+繁简体转化分词器  6.5.4 启动   ELK+logstash概念描述

【ELK】【ElasticSearch】3.es入门基本操作

【ELK】4.spring boot 2.X集成ES spring-data-ES 进行CRUD操作 完整版+kibana管理ES的index操作

【ELK】5.spring boot日志集成ELK,搭建日志系统

 

======================================================================================

一、单节点的问题描述----ES集群状态可能为yellow

单节点ES使用起来,没有多大的问题。

但有一点无法避免,即index创建多分片和多备份的话,会显示ES节点状态为yellow。

1.ES集群健康状态为yellow

那,即图中所描述的:备份虽然设置为1  但是每个分片的备份其实都没有成功。因为没有另一个节点可以提供备份的场所。

最终导致的结果就是ES集群的健康状态为yellow。

而如果本ES节点挂掉,则数据完全丢失。

技术图片

 

2.spring boot对接ES或spring boot日志对接ELK多数默认index的replicas为1

在前几章中,其实都是使用的ES单节点提供服务。

而spring boot中如果不是用自定义settings设置index的shards和replicas,那默认的index的shards=5,而replicas=1。

同样spring boot日志logback对接logstash,搭建ELK分布式日志系统,默认的index的shards=5,而replicas=1。

技术图片

如果依旧启动的是单节点Nodes=1,那么就会导致

技术图片

 

 

二、ElasticSearch 6.5.4版本启动集群

本章其实是ELK系列文章 第二章的插入章节。

 

数据集拆分:训练集、验证集、测试集

参考技术AK折交叉验证是比较常用的拆分训练集、测试集,并用于模型训练、验证的方式。具体步骤如下--自助法抽样的核心理解就是:有放回的抽样。有多种方式可供选择对于分类为目的的有监督学习(例如癌症恶性、良性预测)... 查看详情

机器学习数据集划分-训练集,验证集,测试集

训练集作用:估计模型学习样本数据集,通过匹配一些参数来建立一个分类器。建立一种分类的方式,主要是用来训练模型的。验证集作用:确定网络结构或者控制模型复杂程度的参数,超参数对学习出来的模型,调整分类器的... 查看详情

数据集格式

数据集格式1.COCO数据集2.VOC数据集3.MOT数据集1.COCO数据集2.VOC数据集3.MOT数据集 查看详情

数据集格式

数据集格式1.COCO数据集2.VOC数据集3.MOT数据集1.COCO数据集2.VOC数据集3.MOT数据集 查看详情

如何将数据集拆分为训练集和验证集

】如何将数据集拆分为训练集和验证集【英文标题】:howtosplitdatasettotrainingsetandvalidationset[closed]【发布时间】:2016-09-1320:32:12【问题描述】:我们有一些数据集:从1月到6月,每天销售100件产品,我们的目标是预测7月份每天的销... 查看详情

如何将数据集划分为训练集和测试集?

】如何将数据集划分为训练集和测试集?【英文标题】:howtodividedatasetintotrainandtestset?【发布时间】:2017-09-3013:18:55【问题描述】:我尝试使用带有map-reduce框架的朴素贝叶斯分类算法对数据集进行分类。我的问题是如何将数据集... 查看详情

训练集验证集和测试集的意义(转)

...icle/details/78266558在有监督的机器学习中,经常会说到训练集(train)、验证集(validation)和测试集(test),这三个集合的区分可能会让人糊涂,特别是,有些读者搞不清楚验证集和测试集有什么区别。I.划分如果我们自己已经有... 查看详情

使用验证集、训练集和测试集之间的顺序

】使用验证集、训练集和测试集之间的顺序【英文标题】:Orderbetweenusingvalidation,trainingandtestsets【发布时间】:2019-06-0505:05:44【问题描述】:我正在尝试了解机器学习中模型评估和验证的过程。具体来说,必须以何种顺序以及如... 查看详情

分割训练集测试集验证集的两种方式(代码片段)

训练模型过程中,不可避免要对数据集进行切分,将数据集按比例分成训练集,测试集,验证集。作为一种常见的需求,稍微总结了一下两种实现方式。1.train_test_split平时最常见的切分数据集的方法是sklearn中... 查看详情

第三章共享程序集和强命名程序集

目录:3.1两种程序集,两种部署3.2为程序集分配强名称3.3全局程序集缓存3.4在生成的程序集中引用强命名程序集3.5强命名程序集能防篡改3.6延迟签名3.7私有部署强命名程序集3.8‘运行时"如何解析类型引用3.9高级管理控制(配置... 查看详情

r语言数据预处理把类型变量转化为因子变量,把数据集转化为h2o格式数据集划分(训练集测试集验证集)

R语言数据预处理、把类型变量转化为因子变量,把数据集转化为h2o格式、数据集划分(训练集、测试集、验证集)目录 查看详情

验证集与测试集有啥区别?为啥要分训练集、验证集和测试集?

参考技术A    测试集与验证集的存在主要是为了把调参与评估泛化能力分为两个相对独立的步骤,体现了正交化思想。    验证集一般用于进一步确定模型中的超参数(例如正则项系数、神经网络中... 查看详情

共享程序集和强命名程序集(上)

1.1  两种程序集,两种部署(待更新...)两种程序集:弱命名程序集,强命名程序集。两者结构完全相同。区别:强命名程序集使用发布者的公钥/私钥进行签名。部署:私有或者全局。1.2  为程序集分配强名称1.3&n... 查看详情

如何把数据集划分成训练集和测试集

...阳《机器学习》问题:对于一个只包含\(m\)个样例的数据集\(D=\(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)\),如何适当处理,从\(D\)中产生训练集\(S\)和测试集\(T\)?下面介绍三种常见的做法:留出法交叉验证法自助法留出法(hold-out)留出法直接将... 查看详情

神经网络中的训练集、验证集和测试集有啥区别?

】神经网络中的训练集、验证集和测试集有啥区别?【英文标题】:What\'sisthedifferencebetweentrain,validationandtestset,inneuralnetworks?神经网络中的训练集、验证集和测试集有什么区别?【发布时间】:2011-02-2722:05:13【问题描述】:我正... 查看详情

深度学习如何分配训练集验证集测试集比例

一、小规模数据集对于传统机器学习阶段(数据集在万这个数量级),一般分配比例为训练集和测试集的比例为7:3或是8:2。为了进一步降低信息泄露同时更准确的反应模型的效能,更为常见的划分比例是训练集、... 查看详情

python生成图像样本的训练集、验证集和测试集

参考技术A准备好图像样本和标注文件后,需对样本集进行划分,生成训练集、验证集和测试集我的目录结构:将样本按training:validation:testing=8:1:1,实现在images和labels同级目录下创建文件夹train,val,test,将按比例生成的数据存... 查看详情

商品检测数据集训练目标检测数据集与标记(代码片段)

目标检测数据集与标记学习目标1.常用目标检测数据集2.pascalvoc数据集介绍3.XML4.数据集标记工具介绍4.1介绍4.2安装5.商品数据集标记5.1需求介绍5.2标记6.总结学习目标目标了解常用目标检测数据集了解数据集构成了解数据集标记的... 查看详情