正文

2022elasticsearch-7.17.6集群部署(代码片段)

丶重明  丶重明  2022-10-23  123

关键词：

0.环境系统

1.安装es集群

下载及安装

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.6-x86_64.rpm
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.6-x86_64.rpm.sha512
yum install perl-Digest-SHA -y
shasum -a 512 -c elasticsearch-7.17.6-x86_64.rpm.sha512 
rpm --install elasticsearch-7.17.6-x86_64.rpm

设置为系统启动时自动启动

systemctl daemon-reload
systemctl enable elasticsearch.service

服务启动与关闭（可以等修改完一些配置后再启动）

systemctl start elasticsearch.service
systemctl stop elasticsearch.service

如果你使用了密码保护es密钥库，则需要使用本地文件和系统环境变量提供密钥库密码

mkdir /path/to -p
echo "espasswd" > /path/to/my_pwd_file.tmp
chmod 600 /path/to/my_pwd_file.tmp
chown elasticsearch.elasticsearch /path/to/my_pwd_file.tmp
systemctl set-environment ES_KEYSTORE_PASSPHRASE_FILE=/path/to/my_pwd_file.tmp

2.配置es集群

es服务有三个比较重要的文件：

es配置文件：elasticsearch.yml
JVM配置：jvm.options
日志记录配置：log4j2.properties

2.1.修改es配置文件

设置集群名称

cluster.name: my-es

设置节点名称(使用各自主机名)

node.name: es-node01

数据和日志存放路径（注意生产中不要使用默认路径，数据容易满）

path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch

网络设置

network.host: 0.0.0.0

集群设置（设置集群有多少节点）

discovery.seed_hosts: ["192.168.0.250", "192.168.0.251", "192.168.0.252"]

参与master选举设置

cluster.initial_master_nodes: ["192.168.0.250", "192.168.0.251", "192.168.0.252"]

2.2.修改JVM配置

限制内存大小（可以使用内存的一半，最大不超过32）

-Xms2g
-Xmx2g

对了，提一句，安装es会默认携带openjdk，如果使用自定义jdk请更改指向路径。

3.系统配置

设置文件句柄数（因为我使用阿里云主机，默认是配置好的）

vim /etc/security/limits.conf
root soft nofile 65535
root hard nofile 65535
* soft nofile 65535
* hard nofile 65535

禁用交换内存（阿里云同样没有这项）

sawpoff -a
# vim /etc/fstab 找到swap那行进行注释

设置虚拟内存

sysctl -w vm.max_map_count=262144

vim /etc/sysctl.conf
vm.max_map_count = 262144
sysctl -p

设置线程数

vim /etc/security/limits.conf
* soft nproc 4096
* hard nproc 4096

4.启动es集群

配置目前就先配置这么多了，还有很多配置可以参考官网

启动es集群

systemctl start elasticsearch.service 
netstat -utpln
tcp6       0      0 :::9200                 :::*                    LISTEN      12535/java          
tcp6       0      0 :::9300                 :::*                    LISTEN      12535/java

验证集群是否运行成功

es-node01：

curl 127.0.0.1:9200

  "name" : "es-node01",
  "cluster_name" : "my-es",
  "cluster_uuid" : "7_WxMzV4TjKE5xnyowvG3A",
  "version" : 
    "number" : "7.17.6",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "f65e9d338dc1d07b642e14a27f338990148ee5b6",
    "build_date" : "2022-08-23T11:08:48.893373482Z",
    "build_snapshot" : false,
    "lucene_version" : "8.11.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  ,
  "tagline" : "You Know, for Search"

es-node02：

curl 127.0.0.1:9200

  "name" : "es-node02",
  "cluster_name" : "my-es",
  "cluster_uuid" : "7_WxMzV4TjKE5xnyowvG3A",
  "version" : 
    "number" : "7.17.6",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "f65e9d338dc1d07b642e14a27f338990148ee5b6",
    "build_date" : "2022-08-23T11:08:48.893373482Z",
    "build_snapshot" : false,
    "lucene_version" : "8.11.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  ,
  "tagline" : "You Know, for Search"

es-node03：

curl 127.0.0.1:9200

  "name" : "es-node03",
  "cluster_name" : "my-es",
  "cluster_uuid" : "7_WxMzV4TjKE5xnyowvG3A",
  "version" : 
    "number" : "7.17.6",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "f65e9d338dc1d07b642e14a27f338990148ee5b6",
    "build_date" : "2022-08-23T11:08:48.893373482Z",
    "build_snapshot" : false,
    "lucene_version" : "8.11.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  ,
  "tagline" : "You Know, for Search"

查看哪个节点为主节点：*为主节点

curl http://192.168.0.250:9200/_cat/master
LnrA5H20Q8qtUeoxBAMrHQ 192.168.0.250 192.168.0.250 es-node01

curl http://192.168.0.250:9200/_cat/nodes
192.168.0.252 16 97 1 0.11 0.04 0.05 cdfhilmrstw - es-node03
192.168.0.250 18 96 2 0.03 0.05 0.09 cdfhilmrstw * es-node01
192.168.0.251 14 97 2 0.13 0.06 0.09 cdfhilmrstw - es-node02

因为是使用阿里云的内网部署的集群，所以在浏览器上看不到，可以部署kiana作为集群的前端页面来查看。

2022-2023全网最新linux系列教程100集--linux目录结构你了解吗

linux目录结构你清楚吗查看详情

eccv2022最新研究成果：全球首个text-sketch-image数据集fs-coco

前言：最近的ECCV2022提出了第一个text-sketch-image数据集，我之前在博客《手把手写深度学习(17)：用LSTM为图片生成文字描述(Image-to-text任务)》，在sketchy基础上标注了一个text-sketch-image数据集。而这篇博客介绍刚刚开源的数据集FS-COC... 查看详情

dl之gru：基于2022年6月最新上证指数数据集结合pytorch框架利用gru算法预测最新股票上证指数实现回归预测(代码片段)

DL之GRU：基于2022年6月最新上证指数数据集结合Pytorch框架利用GRU算法预测最新股票上证指数实现回归预测目录基于2022年6月最新上证指数数据集结合Pytorch框架利用GRU算法预测最新股票上证指数实现回归预测#0、数据集预整理#1... 查看详情

python！使用机器学习预测2022世界杯(代码片段)

使用机器学习预测2022世界杯文章目录使用机器学习预测2022世界杯项目说明数据集说明1872年至2022年国际足球成绩国际足联世界排名1992-2022数据分析及预处理对1872年至2022年国际足球成绩进行分析和预处理对国际足联世界排名1992-2... 查看详情

低光图像增强各论文数据集性能指标

1、2022CVPR 《TowardFast,Flexible,andRobustLow-LightImageEnhancement》数据集:MIT、LSRW 2、2022CVPR 《SNR-AwareLow-lightImageEnhancement》数据集：LOL-V1 LOL-V2 3、2022CVPR《URetinex-Net:Retinex-basedDeepUnfoldingNetworkforLow-lightImage... 查看详情

文本匹配——naacl2022gpl

论文地址：https://arxiv.org/abs/2112.07577《文本匹配——【EMNLP2021】TSDAE》中的自适应预训练的一大缺点是计算开销高，因为必须首先在语料库上运行预训练，然后在标记的训练数据集上进行监督学习。标记的训练数据集... 查看详情

基于mmrotate训练自定义数据集做旋转目标检测2022-3-30(代码片段)

本文目录简述1.MMrotate下载2.环境安装3.自定义数据集制作3.1roLabelImg打标签3.2生成DOTA数据集格式的标签3.3数据集裁剪（split）4.修改配置文件5.训练并测试参考博客简述MMRotate是一款基于PyTorch的旋转框检测的开源工具箱，... 查看详情

迭代字典的查询集

...【英文标题】：Iteratingoverquerysetofdictionary【发布时间】：2022-01-2110:54:26【问题描述】：我有一个要在模板中访问的查询集字典，我有以下查询集：<QuerySet[\'membership__name\':\'m1\',\'membership_count\':2,\'membership__name\':\'m2\',\'membership_cou... 查看详情

2022-8-5第六组ptz集合与树

树（Tree）是n（n>=0）个结点的有限集，n=0，称为空树。在任意的非空数中：1.有且仅有一个特定的称为根结点2.当n>1时，其余结点可分为m个互不相交的有限集定义树的时候1.根节点是唯一的，不能存在多个根节点2.子树的个数... 查看详情

根据某些匹配变量分离数据集

...】：Segregatedatasetbasedoncertainmatchingvariables【发布时间】：2022-01-1911:38:35【问题描述】：我有2个数据集，一个是基础数据集，另一个是它的子集，我想创建一个数据集，其中记录不存在于子集数据集中但存在于基础数据集中。因此... 查看详情

消除视觉transformer与卷积神经网络在小数据集上的差距

...经网络之间的差距。本文分享自华为云社区《[NeurIPS2022]消除视觉Transformer与卷积神经网络在小数据集上的差距》，作者：Hint。本文简要介绍NeurIPS2022录用的论文“Bridgin 查看详情

Laravel 测试请求集正文

...正文【英文标题】：Laraveltestsrequestsetbody【发布时间】：2022-01-0200:07:01【问题描述】：我有一个API使用$request->getContent();来获取正文（即JSON），我想编写一些功能测试来测试这个端点，但我找不到在Laravel功能测试中设置正... 查看详情

JOOQ：如何使用多重集

...用多重集【英文标题】：JOOQ:howtousemultiset【发布时间】：2022-01-0807:52:54【问题描述】：鉴于这3个具有多对多关系的表书book_idtitleisbnnum_pages1JOOQ12341232SQL2345155book_authorbook_idauthor_id112122作者author_idauthor_name1Lucas2Jose还有记录publicrecordB... 查看详情

Redis：使用 TypeScript 添加到排序集

...英文标题】：Redis:AddtosortedsetusingTypeScript【发布时间】：2022-01-0409:40:39【问题描述】：我正在尝试使用像client.ZADD(\'test\',10,\'test\')这样的TypeScript向Redis中的排序集添加一个值，但这会引发错误Argumentoftype\'["test",10,"test"]\'isnotas 查看详情

SSIS 临时临时表

...英文标题】：SSIStemporaryStagingtables【发布时间】：2013-02-2022:23:10【问题描述】：数据流任务>oleDBSource1,oleDBSource2>UnionAll>OleDBDestination(table).除了将数据集/结果集推送到OleDB目的地之外，我是否可以暂时将数据集/结果集保存在... 查看详情

注释不同的 Django 查询集不再使用不同的查询集

...stinctDjangoQuerysetisnolongerusingthedistinctqueryset【发布时间】：2022-01-2307:26:55【问题描述】：我有一个查询，我正在尝试注释字段tail_tip的每个值的计数。我的原始查询过滤了相关表，因此有必要使用distinct()。我不完全确定如何描述，... 查看详情

将值替换为数据集列上的整数

】将值替换为数据集列上的整数【英文标题】：ReplacementValuesintotheintegerondatasetcolumns【发布时间】：2022-01-0306:00:11【问题描述】：HouseNumberStreetFirstNameSurnameAgeRelationshiptoHeadofHouseMaritalStatusGenderOccupationInfirmityReligion01SmithRadial 查看详情

从 txt 文件填充数据集

...据集【英文标题】：Populatedatasetfromtxtfile【发布时间】：2022-01-1918:24:02【问题描述】：您好，我想创建一个数据集并使用我拥有的所有意大利名称的txt文件填充它，例如：蕉阿邦丹扎阿凡达阿布达齐奥阿布达齐奥阿邦迪亚阿邦迪... 查看详情