正文

elasticsearch8.6.2集群安装部署(代码片段)

悦睹人生  悦睹人生  2023-03-24  650

关键词：

Elastic Search 8.6.2集群安装部署

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，Elasticsearch 会集中存储您的数据，让您飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。

1.安装版本

JDK: 使用Elastic Search自带JDK【Elastic Search 8以上都自带JDK】

Elastic Search 8.6.2最新版本下载地址：
https://www.elastic.co/cn/downloads/elasticsearch

2.服务器规划

主机名地址备注
node1 10.1.43.74
node2 10.1.43.75
node3 10.1.43.76

3.创建用户及用户组

Elastic Search安装时不要使用root用户，需要创建一个普通用户elasticsearch来安装，后面执行命令都是以elasticsearch用户来执行的，需要提高权限的地方使用sudo来执行：

groupadd elasticsearch
useradd elasticsearch -g elasticsearh
sudo chown -R elasticsearch.elasticsearh /usr/local/setup

上传 elasticsearch-8.6.2-linux-x86_64.tar.gz包到 /usr/local/setup

4.安装及部署

修改最大连接数

sudo vi /etc/security/limits.conf

soft   nofile  65535
hard   nofile  65535
soft   nproc   32000
hard   nproc   32000

-------说明-------
soft nproc：单个用户最大进程数量，超过会警告
hard nproc：单个用户最大进程数量，超过会报错
soft nofile：可以打开的文件最大数，超过会警告
hard nofile：可以打开的文件最大数，超过会报错

调整虚拟内存

sudo vi /etc/sysctl.conf

vm.max_map_count=262144

sudo sysctl -p

sudo chown -R elasticsearch.elasticsearch /data/elasticsearch
cd /data/elasticsearch
mkdir data logs

tar -vzxf elasticsearch-8.6.2-linux-x86_64.tar.gz
vi /usr/local/setup/elasticsearch-8.6.2/config/elasticsearch.yml

#集群名称，所有节点保持一致，同一网段会自动发现
cluster.name: es-cluster
#节点名称，一般为主机名 node-1、node-2、node-3
node.name: node-1
#节点角色，master表示管理节点，data表示数据节点
node.roles: [master,data]
#数据存放路径
path.data: /data/elasticsearch/data
#日志存放路径
path.logs: /data/elasticsearch/logs
#绑定监听IP
network.host: 0.0.0.0
#设置端口
http.port: 9200
#跨域相关设置
http.cors.enabled: true
http.cors.allow-credentials: true
http.cors.allow-origin: "*"
#节点发现
discovery.seed_hosts: ["10.1.43.74:9300","10.1.43.75:9300","10.1.43.76:9300"]
#集群初始化Master节点，会在第一次选举中进行计算
cluster.initial_master_nodes: ["10.1.43.74:9300"]
#启用节点上Elastic Search的xpack安全功能
xpack.security.enabled: false

5.启动服务

su elasticsearch
sh /usr/local/setup/elasticsearch-8.6.2/bin/elasticsearch

验证服务启动情况
curl http://10.1.43.74:9200


  "name" : "node-1",
  "cluster_name" : "es-cluster",
  "cluster_uuid" : "_na_",
  "version" : 
    "number" : "8.6.2",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "2d58d0f136141f03239816a4e360a8d17b6d8f29",
    "build_date" : "2023-02-13T09:35:20.314882762Z",
    "build_snapshot" : false,
    "lucene_version" : "9.4.2",
    "minimum_wire_compatibility_version" : "7.17.0",
    "minimum_index_compatibility_version" : "7.0.0"
  ,
  "tagline" : "You Know, for Search"

6.配置集群间安全访问证书密钥

(仅在node-1节点上操作即可)

su elasticsearch

#签发CA证书（一直回车）

sh /usr/local/setup/elasticsearch-8.6.2/bin/elasticsearch-certutil ca

#签发节点证书（一直回车）

sh /usr/local/setup/elasticsearch-8.6.2/bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

创建好的ca证书和server证书默认名称为elastic-stack-ca.p12和elastic-certificates.p12，存放在$ES_HOME目录。

cd /usr/local/setup/elasticsearch-8.6.2/config
mkdir certs
mv /usr/local/setup/elasticsearch-8.6.2/elastic-*.p12 /usr/local/setup/elasticsearch-8.6.2/config/certs/

将证书发送到另外两个节点。

scp /usr/local/setup/elasticsearch-8.6.2/config/certs/elastic-* node2:/usr/local/setup/elasticsearch-8.6.2/config/certs
scp /usr/local/setup/elasticsearch-8.6.2/config/certs/elastic-* node3:/usr/local/setup/elasticsearch-8.6.2/config/certs/

再次修改配置文件

vi /usr/local/setup/elasticsearch-8.6.2/config/elasticsearch.yml

#启用节点上Elastic Search的xpack安全功能
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12

7.验证集群环境

分别启动三个节点。

sh /usr/local/setup/elasticsearch-8.6.2/bin/elasticsearch -d

在浏览器访问 http://10.1.43.74:9200 这时候提示输入用户名密码。

设置用户密码

sh /usr/local/setup/elasticsearch-8.6.2/bin/elasticsearch-setup-passwords interactive

交互式设置密码，把密码hhxxttxs123BoSs465记下来。

查看节点信息

curl -u elastic:hhxxttxs123BoSs465 http://10.1.43.74:9200/_cat/nodes

10.1.43.74 4 51 1 0.01 0.02 0.05 cdfhilmrstw * node-1
10.1.43.75 7 68 0 0.12 0.18 0.12 cdfhilmrstw - node-2
10.1.43.76 8 67 0 0.13 0.12 0.08 cdfhilmrstw - node-3

查看Elastic Search健康信息

curl -u elastic:hhxxttxs123BoSs465 http://10.1.43.74:9200/_cat/health?v

epoch      timestamp cluster    status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1679537398 02:09:58  es-cluster green           3         3     22  11    0    0        0             0                  -                100.0%

流量分析系统---kafka集群部署

1、集群部署的基本流程Storm上游数据源之Kakfa下载安装包、解压安装包、修改配置文件、分发安装包、启动集群2、基础环境准备安装前的准备工作（zk集群已经部署完毕）?关闭防火墙chkconfigiptablesoff&&setenforce0?创建工作目录... 查看详情

20190426部署zookeeper集群

...，但是优于redis，支持消息并列与通知，实验:部署zookeeper集群：安装思路及环境：先安装Java环境，再安装zookeeper，后安装kafka，：安装思路及环境：先安装Java环境，再安装zookeeper，后安装kafka，zookeeper版本下载网址：http://mirror.b... 查看详情

zookeeper集群的安装与部署

一：集群环境模拟三台zookeeper集群环境，IP规划如下：Server1： 192.168.189.129Server2： 192.168.189.131Server3： 192.168.189.132 二：安装环境准备Zookeeper需在java环境下运行，因此在部署zookeeper环境前，需先安... 查看详情

flink部署操作-flinkstandalone集群安装部署

flink集群安装部署 standalone集群模式必须依赖必须的软件JAVA_HOME配置flink安装配置flink启动flink添加Jobmanager/taskmanager实例到集群个人真实环境实践安装步骤必须依赖必须的软件flink运行在所有类unix环境中，例如：li... 查看详情

zookeeper集群安装部署

zookeeper集群：zookeeper作为一个开源的分布式应用协调系统，已经用到了许多分布式项目中，用来状态同步服务、集群管理、分布式应用配置项的管理等工作。ZooKeeper的工作模式有三种:单机模式、集群模式、伪集群模式。 ... 查看详情

spark集群安装部署(代码片段)

通过Ambari(HDP)或者ClouderaManagement(CDH)等集群管理服务安装和部署在此不多介绍，只需要在界面直接操作和配置即可，本文主要通过原生安装，熟悉安装配置流程。1.选取三台服务器（CentOS系统64位）　　114.55.246.88 主节点　　114... 查看详情

kafka集群安装部署(代码片段)

1集群安装部署1、下载安装包（http://kafka.apache.org）https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgzkafka_2.11-1.1.0.tgz2、规划安装目录/bigdata/install3、上传安装包到服务器中通过FTP工具上传安装包到node01服务器上4、解压安装包到指... 查看详情

zookeeper安装部署-单点和集群

BuildinstructionsforHadoop(Hadoop编译安装,参考hadoop源码包中BUILDING.txt文档)----------------------------------------------------------------------------------Requirements（编译需求，需要满足以下条件才能编译成功）:*UnixSystem*JDK1.6+ 查看详情

rabbitmq单机和集群部署(代码片段)

rabbitmq单机和集群部署一、单机部署1、准备工作2、部署安装2.1安装依赖环境2.2安装erlang环境2.3安装rabbitmq2.4创建RabbitMQ配置文件并修改2.5优化相关参数2.6添加RabbitMQ用户（新建用户三个mq都需要）二、集群部署1、准备工作2... 查看详情

kubernetes系列03—kubeadm安装部署k8s集群

...点：你只要安装kubeadm即可；kubeadm会帮你自动部署安装K8S集群；如：初始化K8S集群、配置各个插件的证书认证、部署集群网络等。安装简易。缺点：查看详情

ceph部署二（存储集群安装）

完成预检之后，你就可以开始部署Ceph存储集群了。二、创建集群2.1、创建ceph集群mkdirmy-clustercdmy-clusterceph-deploynewceph1ceph2ceph3在当前目录下用ls和cat检查ceph-deploy的输出，应该有一个Ceph配置文件、一个monitor密钥环和一个日志文件... 查看详情

rabbitmq集群部署(代码片段)

rabbitmq集群部署rabbitmq集群部署rabbitmq集群部署#修改主机名hostnamectlset-hostnamerabbitmq1hostnamectlset-hostnamerabbitmq2hostnamectlset-hostnamerabbitmq3#安装相关依赖环境yum-yinstallncurses-devel#安装erlang环境cd/data/softwgeth 查看详情

rabbitmq集群部署(代码片段)

redis4.0.1集群安装部署

安装环境序号项目值1OS版本RedHatEnterpriseLinuxServerrelease7.1(Maipo)2内核版本3.10.0-229.el7.x86_643Redisredis-4.0.14Rubyruby2.3.4p301(2017-03-30revision58214)[x86_64-linux] 节点信息规划本来只准备部署7001-70044个实例，但是r 查看详情

解开kafka神秘的面纱：kafka单机部署和集群部署(代码片段)

...ka单机安装2.1下载压缩包2.2zookeeper安装2.3kafka安装三、kafka集群安装3.1zookeeper安装3.2kafka的安装3.3两种Topic四、尾声一、前言本文主要介绍kafka的单机和集群模式部署。二、kafka单机安装2.1下载压缩包需要先到官网下载zookeeper和kafka... 查看详情

linux企业运维——kubernetesk8s集群安装部署(代码片段)

Linux企业运维——Kubernetes（一）k8s集群安装部署文章目录Linux企业运维——Kubernetes（一）k8s集群安装部署1、Kubernetes简介1.1、什么是Kubernetes1.2、Kubernetes设计架构2、k8s安装部署2.1、环境准备2.2、安装部署1、Kubernetes... 查看详情

学习笔记hadoop——hadoop集群的安装与部署——hadoop集群部署模式配置固定ip(代码片段)

一、Hadoop集群部署模式Hadoop的安装部署的模式一共有三种：独立模式（本地模式）standalone默认的模式，无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapRed... 查看详情

kubernetes集群之二进制安装部署（单master节点）(代码片段)

...见的K8S按照部署方式二、安装部署分析三、首先部署ETCD集群3.1ETCD介绍3.2准备CFSSL证书签发环境3.3环境部署3.3.1搭建ETCD步骤3.3.2下载准备CFSSL证书制作工具3.3.3上传etcd-cert.sh和etcd.sh到/opt/k8s/目录中3.3.4安装ETCD服务3.3.5配置ETCD集群3.3.... 查看详情