正文

elasticsearch6.x集群安装部署(代码片段)

yiqian1989  yiqian1989  2023-03-02  698

关键词：

es 集群部署

操作系统为centos7.6
集群规模：3

软件包准备

说明：jdk版本不能低于1.8，推荐使用openjdk

软件包	版本	下载地址
elasticsearch	6.2.3	https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.3.rpm
openjdk	9.0.4	https://download.java.net/java/GA/jdk9/9.0.4/binaries/openjdk-9.0.4_linux-x64_bin.tar.gz

部署步骤

三个节分别安装jdk和es服务

在三个节点上分别安装jdk和elasticsearch服务，并以单节点的形式启动服务，验证服务是否正常安装

解压jdk:
tar -zxvf openjdk-9.0.4_linux-x64_bin.tar.gz
安装elasticsearch
rpm -ivh elasticsearch-6.2.3.rpm
给elasticsearch指定JAVA_HOME
vi /etc/sysconfig/elasticsearch

# Elasticsearch Java path
JAVA_HOME=/opt/jdk-9.0.4

修改elasticsearch的服务为开机自启动
systemctl enable elasticsearch.service
启动elasticsearch服务
systemctl start elasticsearch
验证es服务是否可用

curl http://localhost:9200

  "name" : "node-3",
  "cluster_name" : "my-application",
  "cluster_uuid" : "_na_",
  "version" : 
    "number" : "6.2.3",
    "build_hash" : "c59ff00",
    "build_date" : "2018-03-13T10:06:29.741383Z",
    "build_snapshot" : false,
    "lucene_version" : "7.2.1",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  ,
  "tagline" : "You Know, for Search"

如果es服务启动失败，请到/var/log/elasticsearch或/var/log/messages下查看错误信息

独立的3个es节点组成集群

到此3个节点的es只是单独存在的，还没有形成一个集群，需要调整配置使其形成集群

修改/etc/elasticsearch/elasticsearch.yml的相关参数

参数	说明
cluster.name	三个节点的cluster.name参数必须保持一致
node.name	每个节点的node.name必须唯一
network.host	本节点bind的ip
discovery.zen.ping.unicast.hosts	三个节点的ip数组，用于es集群节点的自动发现
discovery.zen.minimum_master_nodes	To avoid a split brain, this setting should be set to a quorum of master-eligible nodes: (master_eligible_nodes / 2) + 1

举例：

# Use a descriptive name for your cluster:
cluster.name: my-application
# Use a descriptive name for the node:
node.name: node-3
# Set the bind address to a specific IP (IPv4 or IPv6):
network.host: 10.0.44.47
# The default list of hosts is ["127.0.0.1", "[::1]"]
discovery.zen.ping.unicast.hosts: ["10.0.44.45", "10.0.44.46","10.0.44.47"]
# Prevent the "split brain" by configuring the majority of nodes (total number of master-eligible nodes / 2 + 1):
discovery.zen.minimum_master_nodes: 2

修改jvm参数/etc/elasticsearch/jvm.options
建议-Xms -Xmx修改值为物理内存的50%，比如虚机内存是4G，则-Xms -Xmx参数值设置成2G

# Xms represents the initial size of total heap space
# Xmx represents the maximum size of total heap space
-Xms2g
-Xmx2g

其他重要参数修改
- 数据目录配置path.data,rpm安装完默认值是/var/lib/elasticsearch，建议设置独立的数据盘，并把该参数改完数据盘的目录

操作系统参数设置

关闭swap
- 执行命令：swapoff -a
- 释掉/etc/fstab包含swap相关的行
- 执行命令sysctl vm.swappiness=1
- 在/etc/sysctl.conf 文件里添加vm.swappiness=1

elasticsearch6.x使用初探(代码片段)

1.集群健康让我们从基本运行状况检查开始，我们可以使用它来查看集群的运行情况。我们将使用curl来执行此操作，但您可以使用任何允许您进行HTTP/REST调用的工具。要检查群集运行状况，我们将使用_cat。查询语句如下：127.0.0.... 查看详情

windows平台为elasticsearch6.x安装head客户端插件(代码片段)

...境（之前的直接用plugin命令即可安装）。操作步骤1.安装ElasticSearch6.x，访问http://localhost:9200/查看是否安装成功。2.安装Node，使用node-v查看是否安装成功。3.在Node中执行npminstall-ggrunt-cli安装grunt，使用grunt-version查看是否安装成功查看详情

elasticsearch6.2.4安装x-pack之后使用head插件

4、配置head插件具体安装过程请参考：elasticsearch6.X及head插件部署（完整版）这里需要特别指出的是要在elasticsearhc.yml中添加如下配置：http.cors.enabled:truehttp.cors.allow-origin:"*"http.cors.allow-headers:Authorization,X-Requested-With,Content-Le 查看详情

spark集群安装部署(代码片段)

通过Ambari(HDP)或者ClouderaManagement(CDH)等集群管理服务安装和部署在此不多介绍，只需要在界面直接操作和配置即可，本文主要通过原生安装，熟悉安装配置流程。1.选取三台服务器（CentOS系统64位）　　114.55.246.88 主节点　　114... 查看详情

kafka集群安装部署(代码片段)

1集群安装部署1、下载安装包（http://kafka.apache.org）https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgzkafka_2.11-1.1.0.tgz2、规划安装目录/bigdata/install3、上传安装包到服务器中通过FTP工具上传安装包到node01服务器上4、解压安装包到指... 查看详情

rabbitmq集群部署(代码片段)

rabbitmq集群部署rabbitmq集群部署rabbitmq集群部署#修改主机名hostnamectlset-hostnamerabbitmq1hostnamectlset-hostnamerabbitmq2hostnamectlset-hostnamerabbitmq3#安装相关依赖环境yum-yinstallncurses-devel#安装erlang环境cd/data/softwgeth 查看详情

rabbitmq集群部署(代码片段)

rabbitmq单机和集群部署(代码片段)

rabbitmq单机和集群部署一、单机部署1、准备工作2、部署安装2.1安装依赖环境2.2安装erlang环境2.3安装rabbitmq2.4创建RabbitMQ配置文件并修改2.5优化相关参数2.6添加RabbitMQ用户（新建用户三个mq都需要）二、集群部署1、准备工作2... 查看详情

rabbitmqlinux：单机和集群部署(代码片段)

1.单机版部署1.1erlang安装rabbitmq是erlang语言编写的，安装rabbitmq之前，需要先安装erlang，这里用erlang的源码进行安装，erlang安装包官网下载地址：https://github.com/erlang/otp/releases/#先安装以下依赖包yuminstall-ymakegccgcc-c++m4opensslopenssl-deve... 查看详情

解开kafka神秘的面纱：kafka单机部署和集群部署(代码片段)

...ka单机安装2.1下载压缩包2.2zookeeper安装2.3kafka安装三、kafka集群安装3.1zookeeper安装3.2kafka的安装3.3两种Topic四、尾声一、前言本文主要介绍kafka的单机和集群模式部署。二、kafka单机安装2.1下载压缩包需要先到官网下载zookeeper和kafka... 查看详情

zookeeper集群部署(代码片段)

zookeeper集群部署服务器基本信息ip地址安装服务用户名host12.0.2.20zookeeper-3.5.9mppadminqfs00112.0.2.21zookeeper-3.5.9mppadminqfs00212.0.2.22zookeeper-3.5.9mppadminqfs0031安装zookeeper1.1下载安装包apache-zookeeper-3.5.9-bin.tar. 查看详情

zookeeper集群部署(代码片段)

Zookeeper集群部署前言一、Zookeeper概述1、Zookeeper定义2、Zookeeper工作机制3、Zookeeper特点4、Zookeeper数据结构5、Zookeeper应用场景6、Zookeeper选举机制第一次启动选举机制非第一次启动选举机制二、部署Zookeeper集群准备3台服务器做Zookeepe... 查看详情

linux企业运维——kubernetesk8s集群安装部署(代码片段)

Linux企业运维——Kubernetes（一）k8s集群安装部署文章目录Linux企业运维——Kubernetes（一）k8s集群安装部署1、Kubernetes简介1.1、什么是Kubernetes1.2、Kubernetes设计架构2、k8s安装部署2.1、环境准备2.2、安装部署1、Kubernetes... 查看详情

zookeeper集群部署(代码片段)

集群规划IP节点名称环境192.168.137.128node128jdk,zookeeper192.168.137.129node129jdk,zookeeper192.168.137.130node130jdk,zookeeper一、安装jdklinux安装jdk二、安装zookeeper1、下载zookeeperhttp://mirror.bit.edu.cn/apache/zookeepe 查看详情

kubernetes集群之二进制安装部署（单master节点）(代码片段)

...见的K8S按照部署方式二、安装部署分析三、首先部署ETCD集群3.1ETCD介绍3.2准备CFSSL证书签发环境3.3环境部署3.3.1搭建ETCD步骤3.3.2下载准备CFSSL证书制作工具3.3.3上传etcd-cert.sh和etcd.sh到/opt/k8s/目录中3.3.4安装ETCD服务3.3.5配置ETCD集群3.3.... 查看详情

clickhouse集群搭建部署(代码片段)

文章目录一、单机版安装和启停二、集群部署搭建1、手动搭建clickhouse集群2、使用docker-compose快速搭建clickhouse集群三、集群扩容如何保证扩容后的数据均匀分布？四、集群缩容docker-compose中的一些文件一、单机版安装和启停... 查看详情

clickhouse集群搭建部署(代码片段)

elasticsearch6.x的分页查询数据(代码片段)

"size":3,"query":"match":"person_name":"张老师","search_after":[1244735520000,805649],"sort":["create_time":"asc","pk":"desc"]URLhttp://10.10.6.225:9200/t_resource_info/_search方式：POST返回的查询结果：" 查看详情