关键词：
为了避免ElasticSearch发生意外情况发生，导致数据丢失或者整个集群不能提供服务，所以对存储的数据进行灾备是在使用ElasticSearch过程中，必不可少的重要环节。
主要分享低代码、微服务、容器化、SAAS、系统架构方面的的内容，希望大家点赞，评论，关注。
- 为了避免ElasticSearch发生意外情况所以对存储的数据进行灾备是在使用ElasticSearch过程中，必不可少的重要环节，通过快照快照进行本地或者分布式备份，ElasticSearch支持多种存储，可以适应与各种场景下的数据灾备需求，并在意外发生后及时的数据还原，持续化的提供ElasticSearch服务能力。
- 工作流程图
- 为了多集群共享数据，所以需要创建分布式存储仓库，可以支持NFS、S3，同时需要设置ElasticSearch对应用户的权限
- 第一次ElasticSearch数据备份是全量备份，再次备份则是增量备份，可以根据业务具体设置增量时间间隔。
- 如果出现ElasticSearch出现问题，可以用镜像数据进行还原，同时如果也可以在另一个集群实时还原增量数据，以便出现故障时及时切换。
- 涉及到的elasticsearch.yml配置文件的主要配置项
cluster.name: "BoCloud_cluster"
node.name: master_1
node.master: true
http.port: 9200
path.repo: /mount/elasticsearch/data
transport.tcp.port: 9300
discovery.seed_hosts: ["dc_es1","dc_es2","dc_es3"]
cluster.initial_master_nodes: ["dc_es1","dc_es2","dc_es3"]
- path.repo 需要设置仓库地址，进行数据存储是需要在改目录下，支持nfs、s3、hdfs。在创建仓库前一定要设置好仓库地址
- 涉及到主要操作=
- 创建仓库
POST _snapshot/es_snapshot_202205
"type": "fs",
"settings":
"location": "/mount/elasticsearch/data",
"compress": true
- es_snapshot_202205 仓库名称
- type 文件类型
- compress 是否启用压缩
- 创建镜像
PUT /_snapshot/es_snapshot_202205/snapshot_log?wait_for_completion=true
"indices": "access_log"
- snapshot_log 镜像名称
- wait_for_completion 是否等待快照保存结束时才会返回结果。反之异步返回结果
- indices 设置要备份的索引，也可以不设置备份全部索引数据
- 数据还原&全量还原
POST /_snapshot/es_snapshot_202205/snapshot_log/_restore
- 恢复snapshot_log镜像中的索引及数据，注意如果集群中已有快照的索引那就会报索引已存在的错误。所以在数据还原时需要确认是否存在同名的索引
- 数据还原&部分索引还原
POST /_snapshot/es_snapshot_202205/snapshot_log/_restore
"indices": "access_log",
"ignore_unavailable": true,
"include_global_state": false,
"rename_pattern": "access_log",
"rename_replacement": "restored_access_log",
"include_aliases": false
- ignore_unavailable false表示当缺少access_log索引时报错
- include_global_state false 将还原快照中的所有数据流和索引，但不还原群集状态
- include_aliases 是否需要恢复别名，true恢复，false不恢复别名
- 实施建议
- 快照名称带有日期时间，镜像文件管理
- 恢复数据之前保证恢复的索引在当前ElasticSearch中没有创建，否则会恢复失败
- 可以使用定时任务根据业务需求进行定时执行快照任务以保证ElasticSearch数据的可靠性
主要分享低代码、微服务、容器化、SAAS、系统架构方面的的内容，希望大家点赞，评论，关注。
两地三中心两地三中心--灾备解决方案
...然灾害，以同城双中心加异地灾备中心的“两地三中心”的灾备模式也随之出现，这一方案兼具高可用性和灾难备份的能力。同城双中心是指在同城或邻近城市建立两个可独立承担关键系统运行的数据中心，双中心具备基本等同... 查看详情
浪潮-存储双活解决方案研究
1.什么是存储双活在数据存储中，传统的灾备方案一般采用主备模式，当生产存储设备故障后，灾备存储设备才会接管数据访问业务。此过程需要手动执行，灾备存储设备一般处于“待命”模式，无法最大程度发挥所有资源的效... 查看详情
大漠折戟--记一次不顺利的灾备项目实施经历
本月初，受托前往大漠某供电局实施系统灾备。从烟台起飞，到呼和浩特中转，内蒙古范围内还要坐小飞机。等到目的地机场，是傍晚5点多，天黑了，这是小机场，偏僻，出租车都很少，用滴滴查看，周围几公里都无车可叫。... 查看详情
云灾备基础知识
...种种原因，都可能给数据带来不可逆转的损坏。只有完善的灾备方案，才能最终保障数据安全、业务连续性。随着互联网市场的蓬勃发展，及用户对数据重视程度的日益提高，据智研数据中心统计数据，灾备行业的市场规模已达... 查看详情
深入浅出学k8s（二十一）-解密｜k8s保障集群的灾备和恢复
云世 公众号推荐使用以下关键字搜索云世公众号获取更多K8s系列课程： 「k8s集群灾备、etcd备份、pv备份、云原生集群灾备、恢复集群灾备」Kubernetes隐藏了所有容器编排的复杂细节，让我们可以专注在应用本身，... 查看详情
mysql数据库主从同步（复制）热备份
...益凸显，往常不被重视的数据库维护变得必不可缺，数据的灾备变成个各大企业/个人站长业务运行中必须重视的环节。上一篇文章提到了自动化备份避灾的几种方案及选择，今天就来实践一下主从/双向异地热备份方案。Mysql数... 查看详情
mysql数据库主从同步（复制）热备份
...益凸显，往常不被重视的数据库维护变得必不可缺，数据的灾备变成个各大企业/个人站长业务运行中必须重视的环节。上一篇文章提到了自动化备份避灾的几种方案及选择，今天就来实践一下主从/双向异地热备份方案。Mysql数... 查看详情
46.异地（azure）容灾-准备工作
...这里主要使用的是ARS里的SiteRecovery功能实现对计算机环境的灾备解决方案，比如国内：可以实现Azure内部的北京到上海的异地容灾解决方案；可以实现本地数据中心是VMware的异地云端容灾解决 查看详情
浅谈同城双中心的网络部署模型
...的持续性。异地灾备中心是指在异地的城市建立一个备份的灾备 查看详情
elasticsearch实战（四十八）-debeizum实现mysql数据实时同步方案
前文我们通过Canal来实时同步数据，Debeizum是一种比Canal更好的实时同步方案，它底层是基于Kafka-connect为核心构建的，可以完美对接Kafka家族生态，上游支持接入 MongoDB、MySQL、PostgreSQL、SQLServer、Oracle、Db2、Ca... 查看详情
elasticsearch实战（四十八）-debeizum实现mysql数据实时同步方案
前文我们通过Canal来实时同步数据，Debeizum是一种比Canal更好的实时同步方案，它底层是基于Kafka-connect为核心构建的，可以完美对接Kafka家族生态，上游支持接入 MongoDB、MySQL、PostgreSQL、SQLServer、Oracle、Db2、Ca... 查看详情
elasticsearch实战（四十三）-logstash官方数据离线同步方案
在上文中，我们提到了三种离线数据同步方案，Logstash是轻量级数据离线同步方案的一种，为什么我们说它是轻量级而不是重量级？因为Logstash他适合处理单数据源的简单数据结构的数据清洗... 查看详情
elasticsearch实战（四十三）-logstash官方数据离线同步方案
在上文中，我们提到了三种离线数据同步方案，Logstash是轻量级数据离线同步方案的一种，为什么我们说它是轻量级而不是重量级？因为Logstash他适合处理单数据源的简单数据结构的数据清洗... 查看详情
elasticsearch实战（四十九）-flink大数据实时同步方案
工作中难免会涉及到比前文介绍的更加复杂的关联计算场景，这个时候业界做法是用大数据Flink集群来做海量数据实时同步关联计算。一、Flink应用场景 ——因为涉及到要用写Flink相关代码，所以我打算先写完F... 查看详情
elasticsearch实战（四十九）-flink大数据实时同步方案
工作中难免会涉及到比前文介绍的更加复杂的关联计算场景，这个时候业界做法是用大数据Flink集群来做海量数据实时同步关联计算。一、Flink应用场景 ——因为涉及到要用写Flink相关代码，所以我打算先写完F... 查看详情
elasticsearch实战（四十四）-datax开源数据离线同步方案
Datax 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异构数据源之间高效的数据同步功能。 &nb... 查看详情
elasticsearch实战（四十四）-datax开源数据离线同步方案
Datax 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异构数据源之间高效的数据同步功能。 &nb... 查看详情
order数据库里的dg数据库灾备方案是啥意思
我们就说三个层次的灾备系统的标准：首先看国际标准SHARE78，这个标准将灾难恢复分成八个层次：那么从存储结构来看，SHARE78涵盖最简单的本地磁盘的备份，到将备份的磁带存储在异地，再到建立应用系统实时的切换的异... 查看详情