elasticsearch数据迁移(代码片段)

关键词：

现需要将某集群下一个索引下的所有数据迁移到另一个集群上， elasticsearch-dump， Elasticsearch-Exporter 试了一下都不好使，只能老实的写代码来实现

import os
import sys
import pyes
import datetime

index_list = [
    ["alias-offer", "offer"]
]

ES_URL = "http://ip1:9200/"
NEW_ES_URL = "http://ip2:9200/"

def main():
    for _index, _type in index_list:
        print "开始索引:"+_index
        conn = pyes.es.ES(ES_URL)
        print "已经连接上原地址"
        search = pyes.query.MatchAllQuery().search(bulk_read=1000)
        hits = conn.search(search, _index, _type, scan=True, scroll="30m", model=lambda _,hit: hit)
        print "原地址返回数据"
        conn2 = pyes.es.ES(NEW_ES_URL)
        print "连接到新地址"
        count = 0
        for hit in hits:
            conn2.index(hit[‘_source‘], _index, _type, hit[‘_id‘], bulk=True)
            count += 1
            if count % 1000 == 0:
                print (datetime.datetime.now().strftime(‘%Y-%m-%d %H:%M:%S‘),count)
                conn2.flush_bulk(forced=True)
        conn2.flush_bulk(forced=True)
        conn2 = None
        conn = None

if __name__ == ‘__main__‘:
    main()
    print "数据导入结束"

虽然慢，但能用，基本满足需要！

elasticsearch迁移数据(代码片段)

1、无密码情况curl-XPOST'localhost:9200/_reindex?pretty'-H'content-Type:application/json'-d'"source":"remote":"host":"http://172.31.187.255:9200","size 查看详情

elasticsearch数据迁移或者版本升级，如何快速提升迁移效率？(代码片段)

...edidentifier1.es数据迁移工具1.1.ElasticDump简介ElasticDump是一个ElasticSearch的数据导入导出开源工具包，方 查看详情

elasticsearch集群数据索引迁移自动化脚本(代码片段)

  日常维护elasticsearch集群会出现新老集群数据迁移，这里使用的是snapshotapi是Elasticsearch用于对数据进行备份和恢复的一组api接口，可以通过snapshotapi进行跨集群的数据迁移，原理就是从源ES集群创建数据快照，然后在目标E... 查看详情

elasticdump迁移elasticsearch数据(代码片段)

elasticdump迁移elasticsearch数据elasticdumpgithub地址https://github.com/taskrabbit/elasticsearch-dump折腾了一会nodejs耐心尽失，果断使用docker方式。1、下载docker镜像拉取镜像dockerpulltaskrabbit/elasticsearch-dump2、导出数据如果将数据导出为文件形式，... 查看详情

如何使用快照进行elasticsearch迁移，使用共享文件夹方式(代码片段)

概要：Elasticsearch也提供了备份集群中索引数据的策略——snapshotAPI.它会备份整个集群的当前状态和数据，并保存到集群中各个节点共享的仓库中。这个备份的进程是增量备份的，在第一次备份的基础上进行的第二次备份只备份... 查看详情

某云elasticsearch节点失效，手动重置primary，迁移分区(代码片段)

某云es节点失效，重置primary，迁移分区接手另一个团队的elasticsearch服务，服务布署在某云上，迁移计划执行期间，集群状态yellow，多shardingUNASSIGNED夹一个私货，个人其实是不喜欢云的，有能力自已维护机房和物理服务器的，还... 查看详情

elasticsearch03_mapping字段映射常用类型数据迁移ik分词器自定义分词器(代码片段)

...pping字段映射概述①.映射(Mapping)相当于数据表的表结构。ElasticSearch中的映 查看详情

elasticsearch03_mapping字段映射常用类型数据迁移ik分词器自定义分词器(代码片段)

...①.Mapping字段映射①.映射(Mapping)相当于数据表的表结构。ElasticSearch中的映射(Mapping)用来定义一个文档,可以定义所包含的字段以及字段的类型、分词器及属性等等。②.映射可以分为动态映射和静态映射1.动态映射(dyn 查看详情

elasticsearch（es）日志迁移(代码片段)

=============================================== 2018/7/29_第1次修改                       查看详情

elkelasticsearch数据迁移(代码片段)

因elasticsearch集群中有需要需迁移，从A集环境迁移到B集群中，数据量不小。网上搜索找到几种方案，试了下这种。0.安装nodejs（如果已安装请忽略）执行yuminstall-ynodejs 1.升级nodejs执行npminstall-gnnlatest 2.安装elasticdump工具执... 查看详情

《linux运维总结：使用elasticdump工具迁移单节点elasticsearch数据(方案一)》(代码片段)

...：由于整个系统需要从互联网迁移到政务外网，elasticsearch作为其中一个组件，也需要将所有索引数据迁移到政务外网。环境信息如下：特点：elasticdump是一个能够将es的数据快速导入、导出、迁移的工具，... 查看详情

elasticsearch部分常用操作(代码片段)

文章目录集群搭建7.4.1版本,配置linux优化索引映射创建，优化创建索引es_persist_3创建映射mappinges_persist_3创建索引es_persist_4创建mappinges_persist_4es的常用指令跨集群数据迁移reindex迁移reindex取消命令reindex查看进度(可以看到node_id:t... 查看详情

elasticsearch部分常用操作(代码片段)

文章目录集群搭建7.4.1版本,配置linux优化索引映射创建，优化创建索引es_persist_3创建映射mappinges_persist_3创建索引es_persist_4创建mappinges_persist_4es的常用指令跨集群数据迁移reindex迁移reindex取消命令reindex查看进度(可以看到node_id:t... 查看详情

elasticsearch数据迁移工具elasticdump工具(代码片段)

1.工具安装wgethttps://nodejs.org/dist/v8.11.2/node-v8.11.2-linux-x64.tar.xztarxfnode-v8.11.2-linux-x64.tar.xzmvnode-v8.11.2-linux-x64/usr/localln-s/usr/local/node-v8.11.2-linux-x64/bin/npm/usr/local/bin/npmln-s/usr/local/node-v8.11.2-linux-x64/bin/node/usr/local/bin/nodenpminit-fnpminstallelasti... 查看详情

使用logstash迁移elasticsearch(代码片段)

hello大家好，我是你们的小蒟蒻鸭，额。。。似乎好像仿佛也许可能我又拖更了。。。实在抱歉(＞人＜；)但这也不能阻挡我写博的热情????????！！！不多bb，进入正题！ 上篇文章讲了import导入和for循环，这次我们就不做复习... 查看详情

elasticsearch部分常用操作(代码片段)

...机器组成一个集群，分别为：a,b,ca:编辑a的config/elasticsearch.yml配置文件,修改后如下#========================ElasticsearchConfiguration#=======... 查看详情

es数据迁移_snapshot（不需要安装其他软件）(代码片段)

参考文章：三种常用的Elasticsearch数据迁移方案ES基于Snapshot（快照）的数据备份和还原CDH修改ElasticSearch配置文件不生效问题目录1、更改老ES和新ES的config/elasticsearch.yml2、重启老ES，在老ES执行Postman中创建备份目录... 查看详情

elasticsearch数据迁移

...，使用elasticdump进行迁移，elasticdump地址：https://github.com/elasticsearch-dump/elasticsearch-dump迁移单个索引：参数说明：--input:源地址，可为ES集群URL、文件或stdin,可指定索引，格式为：protocol://host:port/index--input-index:源ES集群中的索引--out... 查看详情