mydumper工作原理解析(代码片段)

关键词：

1、简介

逻辑备份小钢炮--mydumper是针对MySQL的高性能多线程备份工具。该工具是由MySQL、Facebook、skysql公司的开发人员一起开发的。是由轻量级C语言开发；执行速度据说比mysqldump快10倍；支持事务和非事务表的一致性备份；还支持导出binlog；支持多线程备份；支持以守护进程的形式工作，定时备份；并且是开源的，其协议为GPLv3.

2、使用方法

[email protected]:~/mydumper-0.6.2# ./mydumper --help  
Usage:  
  mydumper [OPTION...] multi-threaded MySQL dumping  

Help Options:  
  -?, --help                  Show help options  

Application Options:  
  -B, --database              需要备份的库  
  -T, --tables-list           需要备份的表，用逗号分隔  
  -o, --outputdir             输出文件的目录  
  -s, --statement-size        生成插入语句的字节数, 默认 1000000，这个参数不能太小，不然会报 Row bigger than statement_size for tools.t_serverinfo  
  -r, --rows                  分裂成很多行块表  
  -c, --compress              压缩输出文件  
  -e, --build-empty-files     即使表没有数据，还是产生一个空文件  
  -x, --regex                 正则表达式: ‘db.table‘  
  -i, --ignore-engines        忽略的存储引擎，用逗号分隔  
  -m, --no-schemas            不导出表结构  
  -k, --no-locks              不执行共享读锁 警告：这将导致不一致的备份  
  -l, --long-query-guard      设置长查询时间,默认60秒，超过该时间则会报错：There are queries in PROCESSLIST running longer than 60s, aborting dump  
  --kill-long-queries         kill掉长时间执行的查询  
  -b, --binlogs               导出binlog  
  -D, --daemon                启用守护进程模式  
  -I, --snapshot-interval     dump快照间隔时间，默认60s，需要在daemon模式下  
  -L, --logfile               日志文件  
  -h, --host                  The host to connect to  
  -u, --user                  Username with privileges to run the dump  
  -p, --password              User password  
  -P, --port                  TCP/IP port to connect to  
  -S, --socket                UNIX domain socket file to use for connection  
  -t, --threads               使用的线程数，默认4  
  -C, --compress-protocol     在mysql连接上使用压缩协议  
  -V, --version               Show the program version and exit  
  -v, --verbose               更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2 

3、原理解析

1）该工具在--daemo模式下支持以守护进行形式启动，默认每60s进行一次备份。间隔时间由--snapshot-interval控制。

2）首先会创建一个MySQL服务的连接

3）然后在MySQL上执行show processlist，根据参数long-query-guard和kill-long-queries决定退出或杀掉长查询;

4）根据是否有--lock-all-tables，进行锁表：LOCK TABLE tn READ或者FLUSH TABLES WITH READ LOCK；然后执行START TRANSACTION；

5）创建4个备份表的子线程

6）创建1个work thread后，g_async_queue_pop(conf.ready);此时conf.ready为空需要sleep等待。

7）work线程执行：连接mysql；设置隔离级别RR；start transaction；g_async_queue_push(conf->ready,GINT_TO_POINTER(1));然后main函数的g_async_queue_pop挂住的地方可以唤醒了，继续创建线程或者向下走。

8）work线程接着执行：进入死循环，从队列里pop出任务job=(struct job *)g_async_queue_pop(conf->queue);，根据任务类型进行dump。这里的并行是根据表并行的。先备份非事务表，然后备份innodb表

9）最后等所有work线程完成非事务表备份后唤醒g_async_queue_pop(conf.unlock_tables);，执行UNLOCK TABLES解锁

10）事务结束

servlet工作原理解析(代码片段)

转载自:http://www.cnblogs.com/wade-luffy/p/5936234.htmlWeb技术成为当今主流的互联网Web应用技术之一，而Servlet是JavaWeb技术的核心基础。要介绍Servlet必须要先把Servlet容器说清楚，Servlet与Servlet容器的关系有点像枪和子弹的关系，... 查看详情

冯诺依曼体系各硬件工作原理解析(代码片段)

...的基本组成运算器的基本组成控制器的基本组成计算机的工作过程总结计算机结构体系来源1946年,美国发明了世界上第一台计算机ENIAC,可用于比较快速的数据计算,但是其运算速度却受到了人工数据的输入速度的限制,为此我们现... 查看详情

mydumper安装及使用(代码片段)

mydumper官网：https://launchpad.net/mydumper安装方式：　　1、yuminstallglib2-develmysql-develzlib-develpcre-developenssl-devel （现在安装这些依赖）　　2、cmake.  （解压编译tarxvfmydumper-0.9.1.tar.gz）　　3、make&& 查看详情

oracleredolog状态及工作原理解析(代码片段)

一码不扫何以扫天下，扫码有福利RedoLog简介Oracle的数据库日志称为redolog，所有数据改变都记录redolog，可以用于修复受损的数据库。大型数据库都采用日志。Redo日志是分组的，一个库至少需要两组，默认是三... 查看详情

mybatis的工作原理解析(代码片段)

文章目录前言一、mybatis工作原理1.1流程图1.2步骤解析1.3代码实现前言本文记录Mybatis的工作原理，做到知识梳理总结的作用。一、mybatis工作原理Mybatis的总体工作原理流程图如下图所示1.1流程图1.2步骤解析Mybatis框架在工作时... 查看详情

howjavascriptworks(javascript工作原理)(十四)解析，语法抽象树及最小化解析时间的5条小技巧(代码片段)

...，语法抽象树及最小化解析时间的5条小技巧这是JavaScript工作原理的第十四章。概述我们都知道运行一大段JavaScript代码性能会变得很糟糕 查看详情

spring实战spring注解配置工作原理源码解析(代码片段)

一、背景知识在【Spring实战】Spring容器初始化完成后执行初始化数据方法一文中说要分析其实现原理，于是就从源码中寻找答案，看源码容易跑偏，因此应当有个主线，或者带着问题、目标去看，这样才能最... 查看详情

spring实战spring注解配置工作原理源码解析(代码片段)

一、背景知识在【Spring实战】Spring容器初始化完成后执行初始化数据方法一文中说要分析其实现原理，于是就从源码中寻找答案，看源码容易跑偏，因此应当有个主线，或者带着问题、目标去看，这样才能最... 查看详情

mydumper安装(代码片段)

mydumper安装编译安装下载安装包上传软件解压安装依赖包cmake编译安装验证缺少库文件测试总结rpm包安装下载安装包安装测试遗留问题mydumper是社区开源产品，支持并行导出，导入。功能单一，当我们在进行逻辑备份时... 查看详情

mysqlmysql体系结构与内部组件工作原理解析（原理篇）（mysql专栏启动）(代码片段)

📫作者简介：小明java问道之路，专注于研究Java/Liunx内核/C++及汇编/计算机底层原理/源码，就职于大型金融公司后端高级工程师，擅长交易领域的高安全/可用/并发/性能的架构设计与演进、系统优化与稳... 查看详情

浅析mydumper(代码片段)

...中一个表,做不到(所有的表都在一个文件里)所以推荐使用mydumper备份备份并行,基于行,即使一张表也能并行,好强呐恢复也是并行恢复的时候可以只恢复指定表完美(*^__^*)Ⅱ、安装yuminstall-yglib2-develmysql-develzlib-develpcre-develope 查看详情

mydumper备库备份注意事项(代码片段)

1、备库备份报错mydumper-uroot-pxxxx--trx-consistency-only-Btest-Tt1,t2-o/backup/mysql/`date+%F`**(mydumper:19792):WARNING**:Usingtrx_consistency_only,binlogcoordinateswillnotbeaccurateifyouarewritingtonontransactionaltables.**(mydumper:19792):CRITICAL**:TherearequeriesinPROCESSLISTrunninglong... 查看详情

浏览器工作原理：浏览器渲染过程概述(代码片段)

参考：https://segmentfault.com/a/1190000012925872#articleHeader4浏览器器内核拿到内容后，渲染大概可以划分成以下几个步骤：解析html建立dom树解析css构建render树（将CSS代码解析成树形的数据结构，然后结合DOM合并成render树）布局render树（L... 查看详情

玩日志的你不了解filebeat，就像搞结拜不认识关二爷！深度解析filebeat工作原理，轻松玩转大数据！(代码片段)

文章目录深度解析Filebeat工作原理，轻松玩转大数据！什么是FilebeatFilebeat工作原理Filebeat工作流图Filebeat组件图FilebeatHarvester流程图Filebeat配置参数Q&A附录深度解析Filebeat工作原理，轻松玩转大数据！什么是Filebeat... 查看详情

玩日志的你不了解filebeat，就像搞结拜不认识关二爷！深度解析filebeat工作原理，轻松玩转大数据！(代码片段)

文章目录深度解析Filebeat工作原理，轻松玩转大数据！什么是FilebeatFilebeat工作原理Filebeat工作流图Filebeat组件图FilebeatHarvester流程图Filebeat配置参数Q&A附录深度解析Filebeat工作原理，轻松玩转大数据！什么是Filebeat... 查看详情

git知识总结-3常用命令原理解析(代码片段)

0.前言本文主要对git常用命令的工作原理做一个详细的说明，常用命令主要包括：  1.gitadd gitadd相关命令很简单，主要实现将工作区修改的内容提交到暂存区，交由git管理。 2.gitcommitgitcommit主要实现将暂存区的内容... 查看详情

java解析javac源码apt执行原理(代码片段)

...c;大家的技术都在提升，如果自己还是原地踏步，工作10年还是在用着刚工作1-2年的技术在应对现在的开发，所以很多同学的感受是࿱ 查看详情

mydumper安装(代码片段)

mydumper安装编译安装下载安装包上传软件解压安装依赖包cmake编译安装验证缺少库文件测试总结rpm包安装下载安装包安装测试遗留问题mydumper是社区开源产品，支持并行导出，导入。功能单一，当我们在进行逻辑备份时... 查看详情