elk的备份与恢复

author author     2022-08-26     711

关键词:

elasticsearch提供了快照功能:

1、在elsticsearch的配置文件中定义一个path.repo路径配置

path.repo: ["/elk/my_backup"]

重新启动elasticsearch服务

创建备份的文件夹并赋予权限

    mkdir -p /elk/my_backup

    chmod 755 /elk/my_backup

    chown -R elasticsearch.elasticsearch /elk/*

创建repository:

 curl -XPUT ‘http://192.168.0.224:9200/_snapshot/backup‘ -d ‘

{

    "type": "fs",                //表示类型为文件系统

    "settings": {

        "location": "/elk/my_backup/backup",                //存储的路径

        "compress": true                //是否支持压缩

    }

}‘

查看repository信息

$ curl -XGET ‘http://192.168.0.224:9200/_snapshot/backup?pretty‘

技术分享


2、创建快照

备份工作在后台运行

$ curl -XPUT ‘http://192.168.0.224:9200/_snapshot/backup/snapshot_1(快照名)‘

同步执行,加wait_for_completion 标志,备份完成后才返回,如果数据量大的话,会花很长时间

$ curl -XPUT ‘http://192.168.212.190:9200/_snapshot/my_backup/snapshot_2?wait_for_completion=true‘

如果只想备份部分索引的话,可以加上indices 参数:

$ curl -XPUT ‘http://192.168.212.190:9200/_snapshot/my_backup/snapshot_3‘ -d ‘

{

    "indices": "index_1,index_2",

    "ignore_indices": "missing"

}‘


查看备份信息

$ curl -XGET ‘http://192.168.0.224:9200/_snapshot/backup/snapshot_2‘

如果要查看所有索引的信息,使用如下api:

$ curl -XGET ‘http://192.168.0.224:9200/_snapshot/backup/_all‘

另外还有个一api可以看到更加详细的信息:

$ curl -XGET ‘http://192.168.0.224:9200/_snapshot/backup/snapshot_2/_status‘


删除备份

$ curl -XDELETE ‘http://192.168.0.224:9200/_snapshot/backup/snapshot_2‘


备份脚本

[[email protected] elk]# vim esback.sh 

#!/bin/bash

#elasticsearch备份脚本


#快照的名字

filename=`date +%Y%m%d%H`

#备份的文件名

backesFile=es$filename.tar.gz

cd /elk/my_backup

mkdir es_dump

cd es_dump

#删除之前的快照,$filename为上一次快照的名字

curl -XDELETE "192.168.0.224:9200/_snapshot/backup/$filename?pretty"

echo ‘sleep 30‘

sleep 30

#创建一个快照

curl -XPUT "192.168.0.224:9200/_snapshot/backup/$filename?wait_for_completion=true&pretty"

echo ‘sleep 30‘

sleep 30

#拷贝仓库内的快照到一个文件并打包

cp  -a /elk/my_backup/backup/* /elk/my_backup/es_dump

cd ..

tar czf $backesFile  es_dump/

rm es_dump -rf



3、恢复

恢复snapshot_1里的全部索引:

$ curl -XPOST ‘http://192.168.0.224:9200/_snapshot/backup/snapshot_1/_restore‘

api额外的参数:

$ curl -XPOST ‘http://192.168.0.224:9200/_snapshot/backup/snapshot_1/_restore‘ -d ‘

{

    "indices": "index_1",

    "rename_pattern": "index_(.+)",

    "rename_replacement": "restored_index_$1"

}‘


indices: 设置只恢复index_1索引

rename_pattern 和rename_replacement: 用来正则匹配要恢复的索引,并且重命名。和备份一样,api会立刻返回值,然后在后台执行恢复,使用wait_for_completion 标记强制同步执行。


以使用下面两个api查看状态

$ curl -XGET ‘http://192.168.0.224:9200/_recovery/‘


[[email protected] elk]# vim esrestore.sh 

#!/bin/bash

filename=‘2017033020‘

backesFile=es$filename.tar.gz

cd /elk/my_backup/

tar zxvf $backesFile

rm /elk/my_backup/backup/* -rf

cp -a /elk/my_backup/es_dump/* /elk/my_backup/backup

curl -XPOST "192.168.0.224:9200/logs*/_close"

curl -XPOST "192.168.0.224:9200/.kiba*/_close"

echo ‘sleep 5‘

sleep 5

curl -XPOST "192.168.0.224:9200/_snapshot/backup/$filename/_restore?pretty"

#curl -XPOST ‘192.168.0.224:9200/_snapshot/backup/$filename/_restore?pretty‘ -d ‘

#{

#    "indices":"logs*"

#}‘

echo ‘sleep 5‘

sleep 5

#curl -XPOST ‘192.168.0.224:9200/logs*/_open‘

#curl -XPOST ‘192.168.0.224:9200/.kiba*/_open‘

rm es_dump -rf



本文出自 “landanhero” 博客,请务必保留此出处http://landanhero.blog.51cto.com/788351/1912049

数据备份与恢复系统备份与恢复

数据备份与恢复、系统备份与恢复一、数据备份与恢复1、什么是备份备份,即另外准备一–为应付文件、数据丢失或损坏等可能出现的意外情况,将电子计算机存储设备中的数据复制到大容量存储设备中2、备份对象的类别系统... 查看详情

备份与恢复

...型:语句故障、用户进程故障、实例故障、介质故障2、备份类型:1)根据物理与逻辑分物理备份(备份物理文件)和逻辑备份(备份表等逻辑组件)2)根据备份策略分:完全备份、增量备份、差异备份3、恢复分类:实例恢复... 查看详情

用户管理的备份与恢复

用户管理的备份与恢复也称OS物理备份,是指通过数据库命令设置数据库为备份状态,然后用操作系统命令,拷贝需要备份或恢复的文件。这种备份与恢复需要用户的参与手工或自动完成。一、归档与非归档(一)、NONARCHIVELOG模式&... 查看详情

mysql备份与恢复(代码片段)

MySQL备份与恢复一.数据备份的重要性二.MySQL日志2.1日志保存位置2.2日志类型与作用2.3在MySQL配置文件中实现日志日志功能2.4日志查询三.备份类型3.1物理备份3.2逻辑备份3.3常见的备份方法四.备份与恢复的相关操作4.1物理冷备份与... 查看详情

大型数据库作业(代码片段)

简述题简述数据库备份与恢复的必要性。如果数据库在使用中数据丢失,那么为了防止造成不可恢复的损失,备份必不可少,恢复和备份可以迅速的恢复数据库的数据简述Oracle数据库中备份与恢复的方法与类型。备份:物理备份... 查看详情

centos系统备份与恢复

参考技术ACentOS备份与恢复命令说明:CentOS系统通常使用dump/xfsdump命令进行系统分区/目录备份,备份可以使用全量备份和增量备份,CentOS进行系统备份时针对不同的文件系统使用不同的命令进行备份与恢复,例如,文件系统使用e... 查看详情

数据的备份与恢复与用户权限管理

一、数据的备份与恢复将已有的数据复制一份,存放到其他的服务器上。MySQL提供的备份有很多,常见的有文本备份、数据备份、sql备份等1、文本备份  文本备份是最简单的一种备份方式!  一般认为,文本备份只适合Myisam... 查看详情

备份与恢复

一、逻辑备份和恢复    在MySQL里面,逻辑备份的最大优点是对于各种存储引擎,都可以用同样的方法来备份;而物理备份则不同,不同的存储引擎有着不同的备份方法。因此,对于不同存储引擎混合的数据库,用... 查看详情

mysql的备份与恢复(代码片段)

目录前言一、MySQL数据库备份1.数据备份的重要性2.数据库备份的分类二、常见的备份方法1.使用tar打包文件夹备份2.使用mysqldump工具进行备份三、恢复库操作1.source命令整库恢复2.MySQL命令整库恢复四、恢复表操作1.使用source命令恢... 查看详情

mysql数据库备份(增量备份与恢复)(代码片段)

文章目录前言一、MySQL增量备份1.增量备份的特点2.二进制日志对备份的意义2.增量备份示例二、MySQL增量恢复1.增量恢复的场景2.丢失完全备份之后更改的数据的恢复步骤3.完全备份之后丢失所有数据的恢复步骤4.基于时间点与位置... 查看详情

mysql数据库的备份与恢复(代码片段)

...志类型与作用2、MySQL--日志配置文件3、查询日志二、MySQL备份分类1、物理备份2、逻辑备份2.1、分类2.2、逻辑备份分类的比较3、常见的备份方法三、MySQL物理备份与恢复1、物理冷备份与恢复2、mysqldump备份与恢复2.1、mysq 查看详情

mysql备份与恢复

备份的重要性:灾难恢复,测试应用,回滚数据修改,查询历史数据,审计等造成数据丢失的原因有以下几种:程序错误,人为操作错误,运算错误,磁盘故障,灾难和盗窃数据库的备份类型:物理备份和逻辑备份物理备份:是... 查看详情

gitlab的备份与恢复

参考技术A一、Gitlab的备份目录路径设置Gitlab的备份目录可以在Gitlab的配置文件中设置:创建备份目录最后使用下面命令重载gitlab配置文件,使上述修改生效!二、GItlab的备份手动使用命令备份gitlab然后查看下备份文件(文件权... 查看详情

greeplum系列备份与恢复(代码片段)

Greeplum系列(六)备份与恢复一、备份1.1并行备份(gp_dump)GP同时备份Master和所有活动的Segment实例,备份消耗的时间与系统中实例的数量没有关系。在Master主机上备份所有DDL文件和GP相关的数据字典表,每个Segment备份各自的数据。... 查看详情

mysql日志管理备份与恢复(代码片段)

...制日志4、慢查询日志5、查看日志6、实例操作二、数据库备份的重要性与分类1、数据备份的重要性2、从物理与逻辑的角度,备份分为:3、从数据库的备份策略角度,备份可分为:三、常见的备份方法1、物理冷备... 查看详情

Oracle 中的备份和恢复与闪回

】Oracle中的备份和恢复与闪回【英文标题】:Backup&RecoveryVsFlashbackinOracle【发布时间】:2021-09-0823:58:38【问题描述】:在Oracle中,闪回用于将数据库恢复到特定点。如果是这样,备份和恢复需要什么?由于闪回本身可以实现数... 查看详情

jenkins备份与恢复(代码片段)

jenkins这里我通过thinbackup插件进行对jenkins的配置备份与恢复1丶安装thinbackup插件2丶系统管理选择thinbackup插件3丶创建备份目录mkdir/backupchown-Rjenkins.jenkins/backup4丶设置备份,周一到周五的凌晨1点进行完整备份5丶立即备份6丶恢复 ... 查看详情

hbase备份与恢复工具snapshot的基本概念与工作原理(代码片段)

数据库都有相对完善的备份与恢复功能。备份与恢复功能是数据库在数据意外丢失、损坏下的最后一根救命稻草。数据库定期备份、定期演练恢复是当下很多重要业务都在慢慢接受的最佳实践,也是数据库管理者推荐的一种... 查看详情