正文 

当前位置： 首页 > java > java教程

20180207mydumper备份流程

author author     2022-10-14     373

关键词：

mydumper备份流程

  1. mydumper和mysqldump比对
    • mysqldump备份是属于单进程备份，mydumper备份属于多线程备份。
    • mysqldump备份innodb引擎表和非innodb引擎表的时候使用一致性备份的时候备份的非innodb引擎表的数据可能会和show master status 获取得到binlog的filename和position不一致，因为mysqldump备份的时候开启事务的时候，innodb引擎表是遵循MVCC版本控制的，但是非innodb引擎表并不会，再由于进行数据备份的时候是在unlock tables之后，在备份期间非innodb引擎的表是可以修改数据的。要是不想备份的binlog的filename,position信息和实际数据存在差异，那么就必须添加-x参数，这个参数和一致性快照参数是相互冲突的，并且这个参数会导致全表锁定，并且是整个备份过程都是锁定的状态直到备份完成。
    • mydumper备份innodb和非innodb引擎表混杂的情况下，会将所有非innodb引擎备份完毕之后执行unlock tables操作。
    • mysqldump备份将所以的库表备份到一个文件内。当数据很大的时候，想要针对备份的文件进行有些修改会非常的不方便。mydumper备份根据表为单位进行备份，每个表都会存在俩个文件，一个存放的是表的DML信息，一个存放的是表的数据信息。可以很明确的针对某个表进行的字符集或者存储引擎进行修改。
  2. mydunper特性
    • 支持多线程备份
    • 因为多线程备份，所以会生成多个备份文件
    • 备份会执行flush tables with read lock,阻塞DML，防止MyISAM表的写入。备份完毕非innodb引擎表之后会unlock tables。
    • 保证备份文件的一致性
    • 支持压缩备份
    • 支持导出binlog文件
    • 支持多线程恢复
    • 支持以守护进程的方式工作，定时快照和连续二进制日志
    • 支持将备份文件切块

  3. mydumper备份流程图

    • 备份的时候线程会优先级备份非innodb引擎表，在备份之前会flush tables with read lock 操作，防止非innodb引擎表的DML操作，备份完非innodb引擎表之后会执行unlock tables；然后继续备份innodb引擎表
    • mydumper的master进程会以守护进程的方式运行，生成N个(默认是4个)线程连接数据库，由这N个进程执行备份过程
    • 在开启事务之后，会执行show master status得到binlog的filename和position信息，这些信息将存放到metadata文件内。
      技术分享图片
  4. mydumper参数： 
    -B, --database              要备份的数据库，不指定则备份所有库
-T, --tables-list           需要备份的表，名字用逗号隔开
-o, --outputdir             备份文件输出的目录
-s, --statement-size        生成的insert语句的字节数，默认1000000
-r, --rows                  将表按行分块时，指定的块行数，指定这个选项会关闭 --chunk-filesize
-F, --chunk-filesize        将表按大小分块时，指定的块大小，单位是 MB
-c, --compress              压缩输出文件
-e, --build-empty-files     如果表数据是空，还是产生一个空文件（默认无数据则只有表结构文件）
-x, --regex                 是同正则表达式匹配 ‘db.table‘
-i, --ignore-engines        忽略的存储引擎，用都厚分割
-m, --no-schemas            不备份表结构
-k, --no-locks              不使用临时共享只读锁，使用这个选项会造成数据不一致
--less-locking              减少对InnoDB表的锁施加时间（这种模式的机制下文详解）
-l, --long-query-guard      设定阻塞备份的长查询超时时间，单位是秒，默认是60秒（超时后默认mydumper将会退出）
--kill-long-queries         杀掉长查询 (不退出)
-b, --binlogs               导出binlog
-D, --daemon                启用守护进程模式，守护进程模式以某个间隔不间断对数据库进行备份
-I, --snapshot-interval     dump快照间隔时间，默认60s，需要在daemon模式下
-L, --logfile               使用的日志文件名(mydumper所产生的日志), 默认使用标准输出
--tz-utc                    跨时区是使用的选项，不解释了
--skip-tz-utc               同上
--use-savepoints            使用savepoints来减少采集metadata所造成的锁时间，需要 SUPER 权限
--success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn‘t exist
-h, --host                  连接的主机名
-u, --user                  备份所使用的用户
-p, --password              密码
-P, --port                  端口
-S, --socket                使用socket通信时的socket文件
-t, --threads               开启的备份线程数，默认是4
-C, --compress-protocol     压缩与mysql通信的数据
-V, --version               显示版本号
-v, --verbose               输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为 2
  5. myloader使用参数 
    -d, --directory                   备份文件的文件夹
-q, --queries-per-transaction     每次事物执行的查询数量，默认是1000
-o, --overwrite-tables            如果要恢复的表存在，则先drop掉该表，使用该参数，需要备份时候要备份表结构
-B, --database                    需要还原的数据库
-e, --enable-binlog               启用还原数据的二进制日志
-h, --host                        主机
-u, --user                        还原的用户
-p, --password                    密码
-P, --port                        端口
-S, --socket                      socket文件
-t, --threads                     还原所使用的线程数，默认是4
-C, --compress-protocol           压缩协议
-V, --version                     显示版本
-v, --verbose                     输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2
  6. 实际生产案例：
    • 备份单库 
      mydumper -u root -p redhat -h 172.16.3.5 -B percona -o /data/backup/01/
    • 全量备份 
      mydumper -u root -p redhat -h 172.16.3.5 -o /data/backup/02/
  7. general log日志信息： 
    2018-02-06T16:40:09.029354+08:00       32 Connect   [email protected] on  using Socket
2018-02-06T16:40:09.029887+08:00       32 Query select @@version_comment limit 1
2018-02-06T16:40:09.034432+08:00       32 Query select USER()
2018-02-06T16:40:19.565214+08:00       32 Query select user,host from mysql.user
2018-02-06T16:40:40.140267+08:00       33 Connect   [email protected] on  using TCP/IP
2018-02-06T16:40:40.140991+08:00       33 Query select @@version_comment limit 1
2018-02-06T16:40:41.137537+08:00       33 Quit
2018-02-06T16:41:51.738271+08:00       34 Connect   [email protected] on percona using TCP/IP
2018-02-06T16:41:51.749860+08:00       34 Query SET SESSION wait_timeout = 2147483
2018-02-06T16:41:51.750298+08:00       34 Query SET SESSION net_write_timeout = 2147483
2018-02-06T16:41:51.750792+08:00       34 Query SHOW PROCESSLIST
2018-02-06T16:41:51.751269+08:00       34 Query FLUSH TABLES WITH READ LOCK
2018-02-06T16:41:51.769610+08:00       34 Query START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
2018-02-06T16:41:51.770122+08:00       34 Query /*!40101 SET NAMES binary*/
2018-02-06T16:41:51.770491+08:00       34 Query SHOW MASTER STATUS
2018-02-06T16:41:51.771023+08:00       34 Query SHOW SLAVE STATUS
2018-02-06T16:41:51.773673+08:00       35 Connect   [email protected] on  using TCP/IP
2018-02-06T16:41:51.774198+08:00       35 Query SET SESSION wait_timeout = 2147483
2018-02-06T16:41:51.774508+08:00       35 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
2018-02-06T16:41:51.774774+08:00       35 Query START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
2018-02-06T16:41:51.775863+08:00       35 Query /*!40103 SET TIME_ZONE=‘+00:00‘ */
2018-02-06T16:41:51.776238+08:00       35 Query /*!40101 SET NAMES binary*/
2018-02-06T16:41:51.778248+08:00       36 Connect   [email protected] on  using TCP/IP
2018-02-06T16:41:51.778647+08:00       36 Query SET SESSION wait_timeout = 2147483
2018-02-06T16:41:51.778970+08:00       36 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
2018-02-06T16:41:51.779241+08:00       36 Query START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
2018-02-06T16:41:51.779526+08:00       36 Query /*!40103 SET TIME_ZONE=‘+00:00‘ */
2018-02-06T16:41:51.779846+08:00       36 Query /*!40101 SET NAMES binary*/
2018-02-06T16:41:51.782079+08:00       37 Connect   [email protected] on  using TCP/IP
2018-02-06T16:41:51.782491+08:00       37 Query SET SESSION wait_timeout = 2147483
2018-02-06T16:41:51.782816+08:00       37 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
2018-02-06T16:41:51.783157+08:00       37 Query START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
2018-02-06T16:41:51.783459+08:00       37 Query /*!40103 SET TIME_ZONE=‘+00:00‘ */
2018-02-06T16:41:51.783857+08:00       37 Query /*!40101 SET NAMES binary*/
2018-02-06T16:41:51.786025+08:00       38 Connect   [email protected] on  using TCP/IP
2018-02-06T16:41:51.786435+08:00       38 Query SET SESSION wait_timeout = 2147483
2018-02-06T16:41:51.786839+08:00       38 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
2018-02-06T16:41:51.787132+08:00       38 Query START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
2018-02-06T16:41:51.787455+08:00       38 Query /*!40103 SET TIME_ZONE=‘+00:00‘ */
2018-02-06T16:41:51.787835+08:00       38 Query /*!40101 SET NAMES binary*/
2018-02-06T16:41:51.788283+08:00       34 Init DB   percona
2018-02-06T16:41:51.788709+08:00       34 Query SHOW TABLE STATUS
2018-02-06T16:41:51.791089+08:00       34 Query SHOW CREATE DATABASE `percona`
2018-02-06T16:41:51.792056+08:00       36 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `percona`.`sbtest1`
2018-02-06T16:41:51.792211+08:00       38 Query SHOW CREATE TABLE `percona`.`sbtest1`
2018-02-06T16:41:51.792108+08:00       35 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `percona`.`sbtest2`
2018-02-06T16:41:51.792123+08:00       37 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `percona`.`sbtest3`
2018-02-06T16:41:51.793281+08:00       38 Query SHOW CREATE TABLE `percona`.`sbtest2`
2018-02-06T16:41:51.794070+08:00       38 Query SHOW CREATE TABLE `percona`.`sbtest3`
2018-02-06T16:41:51.798308+08:00       34 Query UNLOCK TABLES /* FTWRL */
2018-02-06T16:41:51.798666+08:00       34 Quit
2018-02-06T16:41:51.798843+08:00       37 Quit
2018-02-06T16:41:51.798906+08:00       36 Quit
2018-02-06T16:41:51.798951+08:00       38 Quit
2018-02-06T16:41:51.799045+08:00       35 Quit
  8. 在上诉日志中，innodb引擎表也是在unlock tables之前就做备份那是因为备份的时候总共就只有3个表，但是存在备份的线程存在4个，非innodb引擎表和innodb引擎表都在创建线程开始的时候就开始备份，在这个期间备份非innodb引擎表的时候是全局读锁，这个时候也已经开始备份innodb引擎表，所以在日志可以看到在备份innodb引擎表的时候是没有unlock tables的。

备份工具mydumper

Mydumper主要特性：是一个针对MySQL的高性能多线程备份和恢复工具，开发人员主要来自MySQL,Facebook,SkySQL公司。特性：1：轻量级C语言写的2：执行速度比mysqldump快10倍3：事务性和非事务性表一致的快照(适用于0.2.2以上版本)4：快速的... 查看详情

mydumper备份原理和使用方法

...，没有一个并行的机，这就使得它无法迅速的备份数据。mydumper作为一个实用工具，能够良好支持多线程工作，可以并行的多线程的从表中读入数据并同时写到不同的文件里，这使得它在处理速度方面快于传统的mysqldump。其特征... 查看详情

浅析mydumper(代码片段)

...中一个表,做不到(所有的表都在一个文件里)所以推荐使用mydumper备份备份并行,基于行,即使一张表也能并行,好强呐恢复也是并行恢复的时候可以只恢复指定表完美(*^__^*)Ⅱ、安装yuminstall-yglib2-develmysql-develzlib-develpcre-develope 查看详情

mydumper工作原理解析(代码片段)

1、简介逻辑备份小钢炮--mydumper是针对MySQL的高性能多线程备份工具。该工具是由MySQL、Facebook、skysql公司的开发人员一起开发的。是由轻量级C语言开发；执行速度据说比mysqldump快10倍；支持事务和非事务表的一致性备份；还支持... 查看详情

mydumper备份工具(代码片段)

...velzlibgcc-c++gcccmakecd/usr/local/src/&&wgethttps://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gztarzxfmydumper-0.9.1.tar.gzcdmydumper-0.9.1/cmake.makemakeinstallmydumper参数解释-B,--database要备份的数据库，不指定则备份所有库-T,--tables-list需要备... 查看详情

mydumper安装(代码片段)

mydumper安装编译安装下载安装包上传软件解压安装依赖包cmake编译安装验证缺少库文件测试总结rpm包安装下载安装包安装测试遗留问题mydumper是社区开源产品，支持并行导出，导入。功能单一，当我们在进行逻辑备份时... 查看详情

mydumper介绍

Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。开发人员主要来自MySQL,Facebook,SkySQL公司。目前已经在一些线上使用了Mydumper。一、Mydumper主要特性：　　-执行并行(速度快)、性能提升　　-易于管理　　-一致性：在... 查看详情

mysql逻辑物理备份测试(代码片段)

...备份mysqldump普通备份mysqlpump并行备份mysqlpump压缩并行备份mydumper并行备份mydumper并行压缩备份小结物理备份xtrabackup压缩备份xtrabackup并行压缩备份innobackupex并行压缩备份innobackupexxbstream流式备份innobackupexxbstream流式压缩并行备份innob... 查看详情

mydumper安装笔记

参考：http://www.tuicool.com/articles/2eAVVvN mydumper备份的速度、myloader的恢复速度，比mysql自己的工具执行速度快很多，大大减少业务的处理时间。  # yum install glib2-develmysql-devel zlib-devel pcre-dev 查看详情

mydumper安装(代码片段)

mydumper安装编译安装下载安装包上传软件解压安装依赖包cmake编译安装验证缺少库文件测试总结rpm包安装下载安装包安装测试遗留问题mydumper是社区开源产品，支持并行导出，导入。功能单一，当我们在进行逻辑备份时... 查看详情

mydumper安装(代码片段)

mydumper安装编译安装下载安装包上传软件解压安装依赖包cmake编译安装验证缺少库文件测试总结rpm包安装下载安装包安装测试遗留问题mydumper是社区开源产品，支持并行导出，导入。功能单一，当我们在进行逻辑备份时... 查看详情

my22_mydumper注意事项

1.mydumper的安装依赖于mysql软件，要使用mydumper则服务器上必须先安装mysql2. mydumper安装时会使用mysql软件的动态链接库文件，如果服务器上mysql版本发生了变化，那么mydumper也需要重新安装3.使用mydumper最好为不同的数据库提供不... 查看详情

无法将 MYSQL 备份恢复到新数据库

...用来自this线程的指南成功创建了myDb1数据库的mysqldump文件myDump.sql。我还创建了第二个数据库myDb2，导航到包含myDump.sql的目录并尝试将其还原到新数据库myDb2但失败了，我尝试了两种方法：>my 查看详情

xtrabackup备份原理

...日志来完成备份，因此速度会更快。当然，无论是开源的Mydumper还是官方最新的备份工具(5.7.11的mysqlpump)都支持了多线程备份，所以速度差异可能会进一步缩小，至少从目前生产环境来看，物理备份使用还是比较多的。由于Xtraback... 查看详情

mysql高级作业1~备份(代码片段)

...据库12.在另外的数据库服务器上还原xtrabackup备份13.使用mydumper备份数据库14.使用mydumper恢复数据库1.先创建school数据库，创建两张表，插入一下数据CREATETABLEstudent( idINT(10)NOTNULLUNIQUEPRIMARYKEY, NAMEVARCHAR(20)NOTNULL, sexVARCHAR(4), birt... 查看详情

mydumper安装和使用

安装下载安装包：wget   https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz安装依赖包：yuminstallglib2-develmysql-develzlib-develpcre-developenssl-develcmake##mydumper是C语句开发，编译依赖g 查看详情

mydumper安装及使用(代码片段)

mydumper官网：https://launchpad.net/mydumper安装方式：　　1、yuminstallglib2-develmysql-develzlib-develpcre-developenssl-devel （现在安装这些依赖）　　2、cmake.  （解压编译tarxvfmydumper-0.9.1.tar.gz）　　3、make&& 查看详情

mydumper-0.9.1

ansible脚本ansible -i /etc/ansible/db/scdb 主 -m shell -a '/home/mysqlbak/mydumper/backup.sh'ansible -i /etc/ansible/db/scdb 主 -m synch 查看详情