通过googledrive备份与同步keepass数据库

关键词：

摘要： 在大流量高并发互联网应用实践在线峰会上，阿里云数据库专家罗龙九结合历年双十一活动中云数据库保障经验，从弹性扩容、访问链路、架构设计、高可用配置、性能优化、参数优化六个方面详解讲解云数据库大流量峰值保障的最佳实践。

在9月20日-21日举办的大流量高并发互联网应用实践在线峰会上，阿里云数据库专家罗龙九（花名：玄惭）分享的主题是《云数据库大流量峰值保障最佳实践》，他结合历年双十一活动中云数据库保障经验，从弹性扩容、访问链路、架构设计、高可用配置、性能优化、参数优化六个方面详解讲解云数据库大流量峰值保障的最佳实践。

以下为在线分享观点整理。

弹性扩容

多数用户在双十一到来之前都会进行弹性扩容，常见的弹性扩容分为两类：本机升降级和跨机升降级。例如现在有一个6G/6C的RDS数据库想要升级到12G/12C，如果本机资源足够，则可以在本机完成升降级，无需迁移到其他机器上。云数据库默认是主备架构，本机升级时资源系统首先判断升级是否可以在本机完成，工作原理如上图所示：首先升级RDS备库；然后重启备库；之后进行主备切换，再修改重启原主库。将本地升级变成一次主备切换，进而避免了重启主库的操作。这里需要注意的是如果主备有延迟，那么主备切换不会进行，升级任务也会被block。

另一种弹性扩容的方式是：跨机升降级。当本机资源不足以支撑升级所需要的资源的时候，需要将实例分配到另外一台机器上。所以跨机升级需要使用数据库最近一次的备份和日志实时同步到新的主机上，保证新实例和旧实例的数据是完全一致的，如果历史备份集较大或原主库压力较大时，会导致跨机迁移时间较长。

弹性扩容最佳实践可以总结为以下四点：

1. 如果升级很长时间也没有完成，可能发生了跨机迁移或者主备存在延迟。
2. 可用区迁移、数据库版本升级耗时通常较长，是因为两者迁移都会发生跨机迁移。
3. 空间升级非常快，这是因为空间升级无需重启、迁移数据库，对业务也不会造成影响。
4. 弹性扩容时间的选择，建议在业务低峰期进行弹性扩容。

访问链路

在云数据库中，访问链路分为两种模式：高安全访问链路和标准访问链路。在图上流程图的右侧，RDS在数据库的前面增加了一层代理层，所有请求在代理层都被解析，在解析过程中添加了SQL拦截规则，进而可以防止SQL注入的攻击。此外，高安全访问链路可以防止90%的连接闪断；并支持内外网地址同时访问；对短连接应用有缓冲防护作用。需要注意的是高安全访问链路较标准链路增加了5%左右的响应时间。

标准访问链路与高安全访问链路相比，缺少了代理层，进而失去了连接保持、SQL拦截以及内外网同时访问的能力；但相对于高安全访问链路响应时间会减少。

因此，访问链路最佳实践可以总结为以下几点：

1. 建议使用高安全访问模式，特别是短连接应用，高安全访问模式具有缓冲短连接对数据库冲击的效果。
2. 在标准访问链路切换到高安全访问链路时，切换过程最多会有30秒不可访问。
3. 如果ECS使用VPC，那么数据库只能选择高安全访问链路。
4. 访问链路上需要注意应用不要使用IP来访问数据库，避免由于IP变化导致故障。

架构设计

架构设计就像我们修建一幢坚固的房子一样，需要有整体的布局设计，同时在细节上材料的选择以及施工质量的保障也同样重要。在历年的双11中，由于业务流量的突增，那些平时没有暴露出来的问题往往在这个时候爆发出来，所以我们要把数据库这块地基打好，细节上做好，架构设计就需要我们在这些上下功夫。

读写分离是常见的架构设计手段。RDS支持只读节点，主库主要承担写和实时性要求高操作，一些复杂的分析计算业务操作最好不要放在主库上执行，而是选择放在只读节点运算。使用读写分离架构时，首先数据库版本需要升级到MySQL5.6版本；同时目前RDS最多只支持五个只读节点。在读写分离时，延时是我们必须关注的重点，目前RDS上通过源码改进并行复制，提升复制性能，降低了主库与备库之间数据同步的延迟。

正如上图的压测结果显示，5.6版本较5.5版本，在性能上有很大的提升。目前，RDS只有5.6版本支持只读实例，应用可以做读写分离；支持在线添加字段、索引和重建数据表，应用不再被阻塞。

引擎选择是数据库设计中很基础的一点，这里重点介绍下Tokudb引擎。日志型应用的特性是：写操作很高、读操作相对较少。Tokudb引擎压缩比Innodb引擎高出5~7倍，适合写多读少的应用；同时，Tokudb引擎online ddl速度较快，适合表很大需要经常DDL操作的应用。同样，Tokudb引擎缺点也十分明显，它会增加响应时间；同时online ddl对大字段不适用。

这里需要注意一点的是：在5.5版本以后innodb 引擎已经是MySQL的默认引擎，建议将Myisam引擎转换为innodb引擎，会避免很多问题的发生。

对于大字段，数据库的更新写入压力过大，update、insert、delete会导致binlog日志急剧增加，导致实例磁盘报警。因此在数据库设计时，要注意规避大字段引起的问题。常见的大字段有varchar（8000）、text、blob、clob（sqlserver/mysql），使用时建议将大字段拆分出主表或者存入到其他存储系统中。

字段类型也是常见的问题之一。如上图所示案例中表的user_ID是varchar（64），但访问SQL传入的是数值类型，这就会导致隐式转换发生，进而导致索引无效，可以使用explain 查看是否使用到索引。因此，在设计开发阶段，就要避免数据库字段定义与应用程序参数定义不一致的情况。

字段大小同样会对数据库性能造成影响。字段长度超过索引允许的最大长度会导致索引字段被截断；同时，过长的字段定义会消耗大量的排序内存以及临时表空间。

索引设计也是大家经常犯错的一个点，在历年双十一保障中，索引出现的问题最多。这里，重点讲解单条SQL的创建索引思路：

select person_role_id from moive where movie_id=1000 and role_id=1 order by nr_role desc;

对于这条SQL语句，首先需要评估参与运算的结果集范围，在该语句中创建movie_id和role_id的组合索引；第二步，考虑参与排序字段，在该语句中，排序用到的是nr_role，因此需要将其添加到索引中。大部分情况下，经过前两步，就已经完成了索引的创建。

有时候，还需要考虑第三步：覆盖索引，在索引中添加需要查找的字段，无需回表，以期达到优化目的，在该例中将person_role_id添加到索引中。

常见的索引误区包括：

• 对SQL语句的每个查询条件字段建立一个单列索引，MySQL只能使用其一个索引；
• 对SQL语句的所有查询字段建立组合索引，导致索引远大于数据，同时性能低下；
• 小表不建立索引。

高可用配置

RDS本身是一个主备的高可用架构，当主库Down后，会快速切换到备库。在高可用架构中很重要的一点是数据同步，保障主备数据一致不丢失。常见的高可用配置包括：

• 单可用区：主备都在统一个可用区内，可以实现主备之间的快速切换；
• Binlog同步：采取异步和半同步的方式保障主备的数据一致；
• Binlog刷写：根据应用特点设置安全模式或者高性能模式；
• 事务提交：默认采用最高安全模式。

此外，为了保障服务高可用，也可以采用多可用区配置，即主备在不同可用区，此时，应用同样需要多可用区部署。此时需要注意Binlog在主备的同步模式，通常这种情况下开启半同步模式跨可用区访问，可能导致写入性能下降。

另外，还有一种跨数据中心的灾备方案，在历年的双11中，已经有很多用户实施过这样的方案，你可以选择在两个不同的数据中心部署数据库和应用，比如在杭州和上海两个地区部署，两个数据中心的数据同步采用DTS，以保证一个数据中心挂掉后，另外一个数据中心能够接管起来。

性能优化

当性能问题出现时，例如上图所示数据库的QPS高达2W+，这时候如何进行优化？首先我们需要明确导致QPS过高的原因，可以查看SQL运行报告，对一段时间内的SQL语句进行归类排序，这样就知道了数据库中是那些SQL导致QPS提升的，然后针对这些SQL进行分析，对应地给出解决方案，判断调用是否合理，是否添加缓存等。性能优化中，慢日志也是需要重点关注的点。通过查看慢日志运行报告，分析这些慢SQL产生的原因：是否缺少索引、字段设计存在问题等等，在双11之前优化掉，避免双11高峰来临的时候引发雪崩。

参数优化

在RDS中，大部分参数是已经经过调优的，因此很多参数是不需要再去调整的。但是用户可以根据应用场景的不同选择合适的参数，这里重点看下RDS新增的四个参数优化：

• rds_max_tmp_disk_space：控制MySQL能够使用的临时文件的大小，适用于一个SQL就消耗掉整个数据库的磁盘空间；
• tokudb_buffer_pool_ratio：控制TokuDB引擎能够使用的buffer内存大小，适用于选择了tokudb作为存储引擎的场景；
• max_statement_time：控制单个SQL语句的最长执行时间，适用于控制数据库中的慢SQL数量；
• rds_threads_running_high_watermark：控制MySQL并发的查询数目，常用于秒杀场景的业务；

在双十一中，秒杀是非常常见的活动，因此这里重点分析下秒杀参数优化。从左上图可以看到，数据库的活跃连接数和总连接数同时达到高峰，右上图显示了数据库中有大量堆积的update语句正在执行，意味着秒杀开始。数据库前端涌入大量的请求，由于后端数据库处理过慢，导致了数据库中的连接也随之全部堆积起来，从左下图中可以看到数据库的update TPS 跳跃幅度很大，其中的run活跃线程数表明了数据库这个时候已经满负荷运转了。

通过采用rds_threads_running_high_watermark参数，将并发值限制在300后，效果如右下方图显示，update TPS 已经趋近平稳，run活跃线程数也随之下降。对于被限流的应用请求会收到MySQL too busy的报错，需要应用这个时候适当做出对应的处理。

关于分享者：

罗龙九（花名：玄惭），阿里云数据库专家，有着丰厚的DBA经验，经历阿里历年双11考验，负责阿里云RDS线上稳定以及专家服务团队，积累了6年对阿里云数据库用户的运维、调优、诊断等丰富的经验。

dropbox与googledrive

...‘laod80’（别忘了）　　这是我的推广链接 dropbox与googledrive的比较：　　稳定，速度快　　注册使用，我和你都会获得500MB的使用空间　　推广链接 googledrive：之前一直在用，同步速度一般，办公室windows端的客户端变灰... 查看详情

通过rsync+inotify实现数据实时备份同步

一.环境描述 测试环境需求：服务器A与服务器B为主备服务模式，需要保持文件一致性，现采用sersync基于rsync+inotify实现数据实时同步 环境描述：主服务器172.26.7.50，从服务器172.26.7.51实时同步/home/及/download目录到从服务器... 查看详情

谷歌将为mac和windows用户推出新的备份和同步应用

...程序，该工具旨在帮助用户将文件和照片从计算机备份到GoogleDrive。备份和同步是GoogleDriveapp的一次更新，但现在还集成了GooglePhotos的桌面上传器。谷歌表示：“备份和同步主要面向消费者用户。我们建 查看详情

keepass怎么用

keepass怎么用《KeePassv2.44密码管理器》百度网盘资源免费下载:链接:https://pan.baidu.com/s/1uY1NL9SbgpGOQAnjY0ursQ?pwd=2arh提取码:2arh KeePassPasswordSafev2.44是专门为了解决人类记不得众多密码的问题所产生的，它包含了一个强大的密码产生... 查看详情

rsync+inotify实现数据的实时同步

...，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做 查看详情

将数据库与 Android 设备和 Google Drive 同步

】将数据库与Android设备和GoogleDrive同步【英文标题】：SyncdatabasewithAndroiddeviceandGoogleDrive【发布时间】：2014-08-0622:17:54【问题描述】：我想创建一个应用程序，用户可以在其中将Android设备中的数据与GoogleDrive同步。我将用户数据... 查看详情

rsync+inotify实时同步

...1、rsync（remotesync）是一款非常好的数据同步工具，能够通过对比同步双方的数据变动，实现增量同步，还可以通过LAN/WAN实现远程多台主机间文件的同步，还能结合crond任务计划来执行自动备份，又可以结合ssh实现远程数据备份... 查看详情

rsync+sersync实时同步数据目录

...增量：只传输差异部分的数据1.2实现增量复制的原理Rsync通过其独特的“quickcheck”算法，实现增量传输数据在同步备份数据时，默认情况下，Rsync通过其独特的“quickcheck” 查看详情

text使用rclone为linux自动执行googledrive同步(代码片段)

查看详情

text使用rclone为linux自动执行googledrive同步(代码片段)

查看详情

文件备份与同步

目前我理解的文件备份方法是这样的，如果检测到本地文件发生了变化，那么就把整个文档都传输到服务器备份，我相信这也是很多曾经都国内网盘用到都方法，缺点很明显，耗流量，效率低，想一下如果你有一个500M都图片，... 查看详情

rsync+inotify实现文件自动同步

...，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的   备份文件服务器数据到远端服务器，对本地磁盘 查看详情

sh安装grive，在linuxvps上同步文件到googledrive(代码片段)

查看详情

同步与备份用脚本(代码片段)

PHP脚本，ftp将远程主机文件同步到本地<?php$remoteServer='xxxxx';$remoteBaseDir='/C:/wamp/apps/nbjbyb_tracesys';$username='xxxx';$password='xxxxx';$conn=ft 查看详情

rsync使用

...传输方式：????本地传输（类似与cp命令）????远程传输（通过网络传输）????守护进程（运行一个服务一直在后台）lo 查看详情

如何通过rsync+sersync实现同步备份

参考技术A如何通过rsync+sersync实现同步备份3、rsync+sersync更快更节约资源实现web数据同步4、unison+inotify实现web数据双向同步一：为什么要实现同步备份服务器上有些重要文件或数据时，可以把他们多备份一份到其他服务器上，这... 查看详情

vscode的扩展可以通过啥方式备份/同步吗

参考技术A手机要备份的话可以用腾讯手机管家进行快速备份。打开管家/更多/微云网盘，可以选择网盘、相册、传输三种不同的备份方式。提供一键快速备份手机通讯录联系人和手机上已经安装软件服务，备份的数据直接保存到... 查看详情

rsync+inotify实时同步

...，rsync具有安全性高、备份迅速、支持增量备份的优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。随着应用系统规模不断的扩大，对数... 查看详情