关键词：
- 客户给出建议方案：
- 一直听客户这边说mycat这个东东，一头雾水，这是什么东东，只听说过mysql不知道mycat,瞬间被鄙视N次方次。
- 客户提到数据库分片、表复制能提高数据库性能，但可惜对这些技术好像不知道，只知道表分区，不知道分片，知道表批量复制，可以被订阅推送等，及主从复制，不知道这里说的表复制到时所谓什么技术。
- 客户提到MongoDB,PostgreSQL比较强悍，基本上可以实现集群型结构，表分片相关复制相关技术，但到底在实际应用中怎么是个怎么运行的。
sql优化书籍：https://www.simple-talk.com/books/sql-books/troubleshooting-sql-server-a-guide-for-the-accidental-dba/
带着上边的问题，我认真的查阅了网上对这些技术的一些评价：
- mycat是国人的，是一个数据库分库分表中间件。
背景:
基于阿里开源的Cobar产品而研发，Cobar的稳定性、可靠性、优秀的架构和性能以及众多成熟的使用案例使得MYCAT一开始就拥有一个很好的起点，站在巨人的肩膀上，我们能看到更远。业界优秀的开源项目和创新思路被广泛融入到MYCAT的基因中，使得MYCAT在很多方面都领先于目前其他一些同类的开源项目，甚至超越某些商业产品。
特性：
- 一个彻底开源的，面向企业应用开发的大数据库集群
- 支持事务、ACID、可以替代MySQL的加强版数据库
- 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群
- 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
- 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
- 一个新颖的数据库中间件产品
官网：http://www.mycat.org.cn/
代码：http://git.oschina.net/linzhiqiang/Mycat-Server,https://github.com/MyCATApache/Mycat-Server,https://github.com/MyCATApache/Mycat-download
相关参阅文章：
开源分布式数据库中间件MYCAT:http://blog.oldboyedu.com/mysql-mycat/
MyCat：开源分布式数据库中间件:http://www.csdn.net/article/2015-07-16/2825228
- MongoDB
几年前就对它有耳闻，只是知道是一个nosql数据库，知道存储格式json化，是一个文件数据库。
MongoDB支持分片：
具体实现：http://my.oschina.net/ydsakyclguozi/blog/268377
-
PostgreSQL
这个东西了解的少，这几天一直听客户说这是一个有点类似mycat的数据库中间件，它有很多plugin，附件上之后支持nosql,列存储，crystal db,集群（分片）等。
- 如何实现数据库分布式，分库，分表：
具体参阅文章：
服务端高性能数据库优化演变细节案例：http://blog.oldboyedu.com/high-performance-database/
基于mysql（innodb）优化：http://blog.oldboyedu.com/mysql-optimization/
Mysql 基于 Amoeba 的 水平和垂直 分片:http://pengranxiang.iteye.com/blog/1145342
Amoeba使用指南:http://docs.hexnova.com/amoeba/
PostgreSQL sharding 数据分片 for Oracle, SQL Server, DB2, Sybase ：http://blog.163.com/digoal@126/blog/static/163877040201612313414725/
javaweb应用高并发性能优化方案汇总(代码片段)
...、应用系统调优准备：调优分析工具1.使用缓存2.优化数据库连接3.优化日志输出4.程序代码优化5.数据库设计优化6.Tomcat运行参数优化二、Tomcat集群三、网络和部署方式调优1.操作系统TCP连接数调优（仅针对Windows服务器ÿ... 查看详情
转载spark性能优化指南——高级篇
前言数据倾斜调优调优概述数据倾斜发生时的现象数据倾斜发生的原理如何定位导致数据倾斜的代码查看导致数据倾斜的key的数据分布情况数据倾斜的解决方案解决方案一：使用HiveETL预处理数据解决方案二：过滤少数导致倾斜... 查看详情
数据库调优
数据库调优的方法有那些 1．引言 数据库调优可以使数据库应用运行得更快，它需要综合考虑各种复杂的因素。将数据均匀分布在磁盘上可以提高I/O利用率，提高数据的读写性能；适当程... 查看详情
将数据帧从 spark 集群写入 cassandra 集群：分区和性能调优
】将数据帧从spark集群写入cassandra集群：分区和性能调优【英文标题】：Writedataframefromsparkclustertocassandracluster:PartitioningandPerformanceTuning【发布时间】：2020-09-2703:55:38【问题描述】：我有两个集群-1.ClouderaHadoop-Spark作业在这里运行2.... 查看详情
spark性能调优之解决数据倾斜
Spark性能调优之解决数据倾斜数据倾斜七种解决方案 shuffle的过程最容易引起数据倾斜1.使用HiveETL 查看详情
性能调优一次监控数据错误的性能调优经历(代码片段)
...种监控和分析并未找到性能瓶颈，最后发现竟然因为数据库cpu监控不准备误导，特此记录整个调优的过程一、源码分析回调接口源码性能分析：1次redis查询2次db操作，其中1次查询，1次写入操作5次本地缓存读... 查看详情
hbase写入性能改造(续)--memstoreflushcompact参数调优及压缩卡的使用
首先续上篇测试： 经过上一篇文章中对代码及参数的修改，Hbase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。本篇主要介绍参数调整的方法，在HDFS上加上压缩卡，最后能达到的写入性能为17W行每秒（全部测试都不... 查看详情
sparkstreaming性能调优
...中各节点的配置情况尽可能地提高数据处理的实时性。在调优的过程中，一方面要尽可能利用集群资源来减少每个批处理的时间；另一方面要确保接收到的数据能及时处理掉。运行时间优化设置合理的批处理时间和窗口大小SparkS... 查看详情
有啥方法可以提高火花写入性能？
】有啥方法可以提高火花写入性能？【英文标题】：Isthereanywaytoimprovesparkwriteperformance?有什么方法可以提高火花写入性能？【发布时间】：2020-08-2706:53:24【问题描述】：我正在将数据从elasticsearch移动到hdfs。数据大小约200GB，8000... 查看详情
elasticsearch性能优化实践(jvm调优+es调优)
...的特点如下：关于实时性可以从三方面进行优化：JVM性能调优、ES性能调优、控制数据来源可以从三方面进行优化：JVM性能调优、ES性能调优、控制数据来源第一步是JVM调优。因为ES是依赖于JVM运行，没 查看详情
为啥数据库读写分离可以提高性能
...性能，是因为读写分离采用这样的机制：假设我们现在有数据库服务器1，对外提供一切操作，还有数据库服务器2，仅仅保存数据库服务器1的数据备份，定时同步，以便服务器1意外崩溃后能够尽量的弥补损失。但是服务器2原本... 查看详情
浅谈数据库jvm缓存sql等性能调优方法和原则
浅谈数据库、JVM、缓存、SQL等性能调优方法和原则java互联网架构 2019-07-0713:19:00性能优化基本是BAT等一线互联网公司程序员必备的技能，以下为大家完整揭晓性能完整的优化方案和方法：包含web网站调优、数据库、JVM调... 查看详情
浅谈数据库jvm缓存sql等性能调优方法和原则
浅谈数据库、JVM、缓存、SQL等性能调优方法和原则java互联网架构 2019-07-0713:19:00性能优化基本是BAT等一线互联网公司程序员必备的技能，以下为大家完整揭晓性能完整的优化方案和方法：包含web网站调优、数据库、JVM调... 查看详情
mysql大量写入问题优化方案mysql参数调优
innodb_flush_log_at_trx_commitinnodb_flush_log_at_trx_commit是数据库的事务提交设置参数，默认为1。设置为0时，数据写入是最快的，但有可能丢失上1秒的数据。0：logbuffer每隔1s进行刷盘。当机器出现宕机时，最多丢失1s的... 查看详情
jvm调优总结
...，大部分的时间都花在优化业务逻辑，减少与其他服务和数据库等接口的调用，使用缓存等方式提高性能。上述的工作都是对性能有提升的，但是对于一个熟练的农民工而言，对语言的特性已经成竹在胸，很难通过优化一两句代... 查看详情
性能调优一次监控数据错误的性能调优经历(代码片段)
...种监控和分析并未找到性能瓶颈，最后发现竟然因为数据库cpu监控不准备误导，特此记录整个调优的过程一、源码分析回调接口源码性能分析：1次redis查询2次db操作，其中1次查询，1次写入操作5次本地缓存读... 查看详情
性能调优一次监控数据错误的性能调优经历(代码片段)
...种监控和分析并未找到性能瓶颈，最后发现竟然因为数据库cpu监控不准备误导，特此记录整个调优的过程一、源码分析回调接口源码性能分析：1次redis查询2次db操作，其中1次查询，1次写入操作5次本地缓存读... 查看详情
elasticsearch性能调优
ES性能调优 ES的默认配置，是综合了数据可靠性、写入速度、搜索实时性等因素。实际使用时，我们需要根据公司要求，进行偏向性的优化。 写优化 假设我们的应用场景要求是，每秒300万的写入速度，每条500字节左... 查看详情