mysql使用mydumper导出,myloader恢复数据到tidb的问题

author author     2023-03-20     294

关键词:

[root@localhost app]# myloader -u root -h 192.168.120.20 -P 4000 -p 123456 -B dmp -d /home/app/device_info/ -t 16

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info-schema.sql: Table 'dmp.device_info' already exists

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info.00006.sql: transaction too large, len:300001

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info.00021.sql: transaction too large, len:300001

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info.00014.sql: transaction too large, len:300001

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info.00003.sql: transaction too large, len:300001

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info.00017.sql: transaction too large, len:300001

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info.00022.sql: transaction too large, len:300001
这个是提示什么过大了?需要修改什么参数吗

参考技术A mydumper工具 https://launchpad.net/mydumper/+download
速度比mysqldump快10倍,支持导出binlog,事务和非事务一致快照,多线程恢复
用myloader恢复
安装配置mydumper工具:
先安装cmake:
5.5开始,编译配置工具换成了CMake,还需要make和gcc两个工具,一般系统都会自带,如有yum,可以用yum install cmake安装(查看yum list cmake)。
如没有yum,则需要下载cmake包。本回答被提问者和网友采纳
参考技术B

./bin/mydumper -h 127.0.0.1 -P 3306 -u root -t 16 -F 256 -B test -T t1,t2 --skip-tz-utc -o /data/my_database/


其中:

    -B test:从 test 数据库导出。

    -T t1,t2:只导出 t1 和 t2 这两个表。

    -t 16:使用 16 个线程导出数据。

    -F 256:将每张表切分成多个文件,每个文件大小约为 256 MB。

    --skip-tz-utc:添加这个参数则会忽略掉 TiDB 与导数据的机器之间时区设置不一致的情况,禁止自动转换。

mydumper 文档

欢迎到 TiDB 社区(AskTUG)提问~!

my21_mydumper与myloader使用

-o参数如果不使用-o参数,遇到第一个有主键或者唯一约束的数据,则退出当前线程;如果有-o参数,则删除原来的表,创建新表,再插入数据,主键不会发生变化。**Message:Droppingtableorview(ifexists)`maell`.`bootrap`**Message:Creatingtable`mael... 查看详情

mydumper安装笔记

参考:http://www.tuicool.com/articles/2eAVVvN mydumper备份的速度、myloader的恢复速度,比mysql自己的工具执行速度快很多,大大减少业务的处理时间。  # yum install glib2-develmysql-devel zlib-devel pcre-dev 查看详情

mydumper工作原理解析(代码片段)

...形式工作,定时备份;并且是开源的,其协议为GPLv3.2、使用方法[email  查看详情

mydumper备份原理和使用方法

MySQL自身的mysqldump工具支持单线程工作,依次一个个导出多个表,没有一个并行的机,这就使得它无法迅速的备份数据。mydumper作为一个实用工具,能够良好支持多线程工作,可以并行的多线程的从表中读入数据并同时写到不同... 查看详情

mydumper安装(代码片段)

...入。功能单一,当我们在进行逻辑备份时,可以使用它进行单纯的数据备份。但是它不是MySQL自带的工具,需要我们自己进行安装。下面就说下安装过程编译 查看详情

备份工具mydumper

Mydumper主要特性:是一个针对MySQL的高性能多线程备份和恢复工具,开发人员主要来自MySQL,Facebook,SkySQL公司。特性:1:轻量级C语言写的2:执行速度比mysqldump快10倍3:事务性和非事务性表一致的快照(适用于0.2.2以上版本)4:快速的... 查看详情

使用mysqldump或mydumper配置mysql主从复制(代码片段)

1.使用mysqldumpcatdump_and_replication.sh#!/bin/bashsource~/.bashrcmysql-uroot-p123456-S/data/3306/mysqldata/mysql.sock-Ddb1-e"setglobalsql_log_bin=0;altertablet1dropprimarykey,dropindexIndex_1, 查看详情

使用mysqldump或mydumper配置mysql主从复制(代码片段)

1.使用mysqldumpcatdump_and_replication.sh#!/bin/bashsource~/.bashrcmysql-uroot-p123456-S/data/3306/mysqldata/mysql.sock-Ddb1-e"setglobalsql_log_bin=0;altertablet1dropprimarykey,dropindexIndex_1, 查看详情

使用mysqldump或mydumper配置mysql主从复制(代码片段)

1.使用mysqldumpcatdump_and_replication.sh#!/bin/bashsource~/.bashrcmysql-uroot-p123456-S/data/3306/mysqldata/mysql.sock-Ddb1-e"setglobalsql_log_bin=0;altertablet1dropprimarykey,dropindexIndex_1, 查看详情

mydumper介绍

...人员主要来自MySQL,Facebook,SkySQL公司。目前已经在一些线上使用了Mydumper。一、Mydumper主要特性:  -执行并行(速度快)、性能提升  -易于管理  -一致性:在所有的threads之间维护快照,提供master和slave日志的准确位置等  -... 查看详情

mydumper安装(代码片段)

...入。功能单一,当我们在进行逻辑备份时,可以使用它进行单纯的数据备份。但是它不是MySQL自带的工具,需要我们自己进行安装。下面就说下安装过程编译安装版本信息:mydumper0.11.6,builtagainstMySQL8.0.27os:RHEL7... 查看详情

mydumper安装(代码片段)

...入。功能单一,当我们在进行逻辑备份时,可以使用它进行单纯的数据备份。但是它不是MySQL自带的工具,需要我们自己进行安装。下面就说下安装过程编译安装版本信息:mydumper0.11.6,builtagainstMySQL8.0.27os:RHEL7... 查看详情

mydumper备库备份注意事项(代码片段)

1、备库备份报错mydumper-uroot-pxxxx--trx-consistency-only-Btest-Tt1,t2-o/backup/mysql/`date+%F`**(mydumper:19792):WARNING**:Usingtrx_consistency_only,binlogcoordinateswillnotbeaccurateifyouarewritingtonontransactionaltables.**(mydumper:19792):CRITICAL**:TherearequeriesinPROCESSLISTrunninglong... 查看详情

mydumper安装和使用

安装下载安装包:wget   https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz安装依赖包:yuminstallglib2-develmysql-develzlib-develpcre-developenssl-develcmake##mydumper是C语句开发,编译依赖g 查看详情

mydumper安装及使用(代码片段)

mydumper官网:https://launchpad.net/mydumper安装方式:  1、yuminstallglib2-develmysql-develzlib-develpcre-developenssl-devel (现在安装这些依赖)  2、cmake.  (解压编译tarxvfmydumper-0.9.1.tar.gz)  3、make&& 查看详情

20180207mydumper备份流程

...线程备份。mysqldump备份innodb引擎表和非innodb引擎表的时候使用一致性备份的时候备份的非innodb引擎表的数据可能会和showmasterstatus获取得到binlog的filename和position不一致,因为mysqldump备份的时候开启 查看详情

mysql逻辑物理备份测试(代码片段)

...备份mysqldump普通备份mysqlpump并行备份mysqlpump压缩并行备份mydumper并行备份mydumper并行压缩备份小结物理备份xtrabackup压缩备份xtrabackup并行压缩备份innobackupex并行压缩备份innobackupexxbstream流式备份innobackupexxbstream流式压缩并行备份innob... 查看详情

浅析mydumper(代码片段)

...复其中一个表,做不到(所有的表都在一个文件里)所以推荐使用mydumper备份备份并行,基于行,即使一张表也能并行,好强呐恢复也是并行恢复的时候可以只恢复指定表完美(*^__^*)Ⅱ、安装yuminstall-yglib2-develmysql-develzlib-develpcre-develope 查看详情