正文 

当前位置： 首页 > 程序 > java教程

使用elasticdump迁移数据到新es集群(代码片段)

author author     2023-03-08     444

关键词：

参考文档

https://blog.csdn.net/u012731379/article/details/79856113 
https://blog.csdn.net/u010466329/article/details/79209236 
https://blog.csdn.net/laoyang360/article/details/65449407

迁移方法

  • 通过logstash的input和output配置迁移（配置灵活适用于长期数据同步等）
  • 通过迁移工具如elasticdump等（适用于备份一次性小量数据操作）
  • 通过elasticsarch自带快照功能（适用于一次性迁移大量数据）

操作步骤

1、安装elasticdump

[[email protected]_8_24_centos ~]# yum install nodejs npm  
[[email protected]_8_24_centos ~]# npm install elasticdump 
/root
└─┬ [email protected] 
  ├── [email protected] 
  ├─┬ [email protected] 
  │ ├─┬ [email protected] 
  │ │ ├── [email protected] 
  │ │ └── [email protected] 
  │ ├── [email protected] 
  │ ├── [email protected] 
  │ ├── [email protected] 
  │ ├── [email protected] 
  │ ├── [email protected] 
  │ ├─┬ [email protected] 
  │ │ └── [email protected] 
  │ ├── [email protected] 
  │ └─┬ [email protected] 
  │   └── [email protected] 
  ├── [email protected] 
  ├── [email protected] 
  ├── [email protected] 
  ├── [email protected] 
  ├─┬ [email protected] 
  │ ├── [email protected] 
  │ └── [email protected] 
  ├── [email protected] 
  ├── [email protected] 
  ├─┬ [email protected] 
  │ ├── [email protected] 
  │ └── [email protected] 
  ├─┬ [email protected] 
  │ ├── [email protected] 
  │ ├── [email protected] 
  │ ├─┬ [email protected] 
  │ │ └── [email protected] 
  │ ├── [email protected] 
  │ ├── [email protected] 
  │ ├─┬ [email protected] 
  │ │ └── [email protected] 
  │ ├─┬ [email protected] 
  │ │ ├─┬ [email protected] 
  │ │ │ ├── [email protected] 
  │ │ │ ├── [email protected] 
  │ │ │ ├── [email protected] 
  │ │ │ └─┬ [email protected] 
  │ │ │   └── [email protected] 
  │ │ └── [email protected] 
  │ ├─┬ [email protected] 
  │ │ ├── assert-p[email protected] 
  │ │ ├─┬ [email protected] 
  │ │ │ ├── [email protected] 
  │ │ │ ├── [email protected] 
  │ │ │ └── [email protected] 
  │ │ └─┬ [email protected] 
  │ │   ├── [email protected] 
  │ │   ├── [email protected] 
  │ │   ├── [email protected] 
  │ │   ├── [email protected] 
  │ │   ├── [email protected] 
  │ │   ├── [email protected] 
  │ │   ├── [email protected] 
  │ │   └── [email protected] 
  │ ├── [email protected] 
  │ ├── [email protected] 
  │ ├── [email protected] 
  │ ├─┬ [email protected] 
  │ │ └── [email protected] 
  │ ├── [email protected] 
  │ ├── [email protected] 
  │ ├── [email protected] 
  │ ├── [email protected] 
  │ ├─┬ [email protected] 
  │ │ ├── [email protected] 
  │ │ └── [email protected] 
  │ └── [email protected] 
  ├─┬ [email protected] 
  │ └── [email protected] 
  └─┬ [email protected] 
    ├── [email protected] 
    └─┬ [email protected] 
      ├── [email protected] 
      ├── [email protected] 
      ├── [email protected] 
      ├── [email protected] 
      └── [email protected] 

npm WARN enoent ENOENT: no such file or directory, open ‘/root/package.json‘
npm WARN root No description
npm WARN root No repository field.
npm WARN root No README data
npm WARN root No license field.
[[email protected]_8_24_centos ~]# cd node_modules/elasticdump/bin

2、导出mapping

[[email protected]_8_24_centos bin]# ./elasticdump --input=http://10.2.3.159:9200/reconciliation  --output=http://10.2.100.24:9200/reconciliationonline --type=mapping
Mon, 11 Feb 2019 09:28:10 GMT | starting dump
Mon, 11 Feb 2019 09:28:10 GMT | got 1 objects from source elasticsearch (offset: 0)
Mon, 11 Feb 2019 09:28:16 GMT | sent 1 objects to destination elasticsearch, wrote 1
Mon, 11 Feb 2019 09:28:16 GMT | got 0 objects from source elasticsearch (offset: 1)
Mon, 11 Feb 2019 09:28:16 GMT | Total Writes: 1
Mon, 11 Feb 2019 09:28:16 GMT | dump complete
[[email protected]_8_24_centos bin]# curl  10.2.100.24:9200/_cat/indices|grep reconciliation
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
 43 32578   43 14037    0     0   5694      0  0:00:05  0:00:02  0:00:03  5694yellow open reconciliationonline   KnZrsU-7TmWWBs-1-dBRrw 5 1       0  0    1.1kb    1.1kb

3、导出data

[[email protected]_8_24_centos bin]# ./elasticdump --input=http://10.2.3.159:9200/reconciliation  --output=http://10.2.100.24:9200/reconciliationonline --type=data
Mon, 11 Feb 2019 09:28:58 GMT | starting dump
Mon, 11 Feb 2019 09:28:58 GMT | got 100 objects from source elasticsearch (offset: 0)
Mon, 11 Feb 2019 09:29:19 GMT | sent 100 objects to destination elasticsearch, wrote 100
Mon, 11 Feb 2019 09:29:19 GMT | got 100 objects from source elasticsearch (offset: 100)
Mon, 11 Feb 2019 09:29:51 GMT | sent 100 objects to destination elasticsearch, wrote 100
Mon, 11 Feb 2019 09:29:51 GMT | got 100 objects from source elasticsearch (offset: 200)
Mon, 11 Feb 2019 09:30:13 GMT | sent 100 objects to destination elasticsearch, wrote 100
Mon, 11 Feb 2019 09:30:13 GMT | got 100 objects from source elasticsearch (offset: 300)
Mon, 11 Feb 2019 09:30:39 GMT | sent 100 objects to destination elasticsearch, wrote 100
Mon, 11 Feb 2019 09:30:39 GMT | got 100 objects from source elasticsearch (offset: 400)
Mon, 11 Feb 2019 09:31:53 GMT | sent 100 objects to destination elasticsearch, wrote 100
Mon, 11 Feb 2019 09:31:53 GMT | got 100 objects from source elasticsearch (offset: 500)
Mon, 11 Feb 2019 09:32:28 GMT | sent 100 objects to destination elasticsearch, wrote 100
Mon, 11 Feb 2019 09:32:28 GMT | got 100 objects from source elasticsearch (offset: 600)
Mon, 11 Feb 2019 09:33:24 GMT | sent 100 objects to destination elasticsearch, wrote 100
Mon, 11 Feb 2019 09:33:24 GMT | got 100 objects from source elasticsearch (offset: 700)
Mon, 11 Feb 2019 09:34:19 GMT | sent 100 objects to destination elasticsearch, wrote 100
Mon, 11 Feb 2019 09:34:19 GMT | got 7 objects from source elasticsearch (offset: 800)
Mon, 11 Feb 2019 09:34:47 GMT | sent 7 objects to destination elasticsearch, wrote 7
Mon, 11 Feb 2019 09:34:47 GMT | got 0 objects from source elasticsearch (offset: 807)
Mon, 11 Feb 2019 09:34:47 GMT | Total Writes: 807
Mon, 11 Feb 2019 09:34:47 GMT | dump complete
[[email protected]_8_24_centos bin]# curl  10.2.100.24:9200/_cat/indices|grep reconciliationonline
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:--  0:00:16 --:--:--     0yellow open reconciliationonline   KnZrsU-7TmWWBs-1-dBRrw 5 1     807  0    4.3mb    4.3mb
100 32578  100 32578    0     0   2010      0  0:00:16  0:00:16 --:--:--  7769

elasticsearch数据迁移与集群容灾

...ub地址:https://github.com/taskrabbit/elasticsearch-dump以下操作通过elasticdump命令将集群x.x.x.1中的companydatabase索引迁移至集群x.x.x.2。注意第一条命令先将索引的settings先迁移，如果直接迁移mapping或者data将失去原有集群中索引的配置信息如... 查看详情

elasticsearch数据迁移或者版本升级，如何快速提升迁移效率？(代码片段)

目录1.es数据迁移工具1.1.ElasticDump简介1.2.安装ElasticDump1.3迁移工具使用1.4如何提供效率？2.常见问题2.1elasticdump报SyntaxError:Unexpectedidentifier1.es数据迁移工具1.1.ElasticDump简介ElasticDump是一个ElasticSearch的数据导入导出开源工具包ÿ... 查看详情

《linux运维总结：使用elasticdump工具迁移单节点elasticsearch数据(方案一)》(代码片段)

...引数据迁移到政务外网。环境信息如下：特点：elasticdump是一个能够将es的数据快速导入、导出、迁移的工具，适用于es数据量比较小的迁移场景。二、安装elasticdump工具《Linux运维总结：Centos7.6离线安装elasticdump》... 查看详情

使用elasticsearch-dump迁移es数据

...1)yuminstallepel-release2)yuminstallnodejs3)yuminstallnodejsnpm4)npminstallelasticdump5)cdnode_modules/elasticdump/bin6)./elasticdump--input=http://192.168.1.1:9200/original--output=http://192.168.1.2:9200/newCopy--type=data　　不一样的地方就是--type=mapping，意思是把原始索引的ma... 查看详情

elasticdump方法迁移数据

elasticdump-rm-titaskrabbit/elasticsearch-dump--ignore-errors=true--offset=1000 --input=http://IP:9200/索引名--output=/data/es_dump/esdata_1026_00.json--type=data --searchBody‘"query":"bool": 查看详情

logstash迁移es数据(代码片段)

任务：从es集群a,b,c。。。把数据迁移到新es集群d,e,f  迁移数据只是复制需要额外3台服务器，分别部署新es集群d,e,f 和 单点logstash是迁移通道和kibana查询工具  （集群es复制到单点es，没试过，改天试一下）... 查看详情

elasticsearch数据迁移工具elasticdump工具(代码片段)

...local/node-v8.11.2-linux-x64/bin/node/usr/local/bin/nodenpminit-fnpminstallelasticdump#因为我只用一次，所以这里没有安装到全局，需要到node_modules目录下才能找到elasticdump，我安装的位置如下：/usr/local/node-v8.11.2-linux-x64/node_modules/elasticdump/bin/elastic... 查看详情

es7.7.0数据迁移(代码片段)

本文使用elasticdump做数据迁移，支持在线和离线俩种方式，适用于数据量比较小的情况。1、Node安装由于elasticdump依赖于node，首先需要安装下node。1.1、Linux安装$wgethttps://nodejs.org/dist/v10.15.0/node-v10.15.0-linux-x64.tar.xz$tar-xfno... 查看详情

将数据迁移到新集群后，Cassandra 集群中的数据不一致

】将数据迁移到新集群后，Cassandra集群中的数据不一致【英文标题】：DataInconsistencyinCassandraClusteraftermigrationofdatatoanewcluster【发布时间】：2020-11-1611:06:10【问题描述】：将数据移动到新集群后，我发现一些数据不一致。旧集群总... 查看详情

使用elasticdump实现es数据导入导出示例（持续更新中）(代码片段)

Elasticdump是一个命令行工具，可用于将数据从Elasticsearch导出到JSON文件，以及将JSON文件导入到Elasticsearch中。以下是一个简单的示例，演示如何使用Elasticdump实现数据导入导出：1.安装Elasticdump您可以使用npm命令在命... 查看详情

es版本升级并迁移数据(代码片段)

...练由于迁移的数据量蛮大的，基本不可能采用github的elasticdump工具，也不能采用es自带的数据备份恢复功能。允许es停机（这是很重要的一点）所以在演练中，采用下面的演练步骤搭建ES6.2.3的3节点集群由于es6.2.... 查看详情

es7.6.2集群迁移（从一套es集群迁移数据到另一套集群）(代码片段)

有时有需要从ES集群中去除多个节点的需求，比如迁移一套ES集群到另外一套ES集群，这时可以先将新的ES节点加入到现有集群里，再将老ES节点下线。一实验环境 ​​​​​二实验步骤2.1集群扩容-添加新节点可参考ES... 查看详情

es7.6.2集群迁移（从一套es集群迁移数据到另一套集群）(代码片段)

有时有需要从ES集群中去除多个节点的需求，比如迁移一套ES集群到另外一套ES集群，这时可以先将新的ES节点加入到现有集群里，再将老ES节点下线。一实验环境 ​​​​​二实验步骤2.1集群扩容-添加新节点可参考ES... 查看详情

es实战es集群节点迁移与缩容(代码片段)

ES集群节点迁移与缩容文章目录ES集群节点迁移与缩容master节点迁移场景一场景二场景三data节点迁移数据迁移操作1、查询集群原来的配置2、清空节点数据3、检查是否排空数据迁移原则缩容前置检查项master节点迁移场景一集群上... 查看详情

mma安装及使用优化

公司自建的Hadoop集群，后期使用阿里的Maxcompute，就需要迁移数据到新环境中，阿里提供众多的迁移方案，在经过我们的实践后，最终选择了MMA，迁移数据Hive到Maxcompute。公司自建的Hadoop集群，后期使用阿里的Maxcompute，就需要迁... 查看详情

zk集群数据迁移和恢复

参考技术Azk集群数据迁移和恢复一、zk数据迁移，有如下两种方案：1、利用zk集群超过半数仍然可用的特性，比如集群中有5个节点，可以将其中1~2个节点割裂出去，再添加1个新的节点，组成新的集群，以此实现数据迁移；2、直... 查看详情

elasticsearch集群数据索引迁移自动化脚本(代码片段)

...p;日常维护elasticsearch集群会出现新老集群数据迁移，这里使用的是snapshotapi是Elasticsearch用于对数据进行备份和恢复的一组api接口，可以通过snapshotapi进行跨集群的数据迁移，原理就是从源ES集群创建数据快照，然后在目标ES集群中... 查看详情

es实战es集群节点迁移与缩容(代码片段)

ES集群节点迁移与缩容文章目录ES集群节点迁移与缩容master节点迁移场景一场景二场景三data节点迁移数据迁移操作1、查询集群原来的配置2、清空节点数据3、检查是否排空数据迁移原则缩容前置检查项master节点迁移场景一集群上... 查看详情