关键词：

浅谈数据库、JVM、缓存、SQL等性能调优方法和原则

java互联网架构 2019-07-07 13:19:00

性能优化基本是BAT等一线互联网公司程序员必备的技能，以下为大家完整揭晓性能完整的优化方案和方法：包含web网站调优、数据库、JVM调优、架构调优等方案。

第一：Web网站调优

1、尽可能减少HTTP请求：图片合并 （css sprites），Js脚本文件合并、css文件合并。

2、减少DNS查询

3、将css放在页面最上面，将js放在页面最下面

4、压缩js和css

减少文件体积，去除不必要的空白符、格式符、注释（即对代码进行格式化）

5、把js和css提取出来放在外部文件中

这一条要灵活运用，把js和css提取出来放在外部文件的优点是：减少html体积，提高了js和css的复用性，提高日后的可维护性

缺点：增加了http请求，不过这一点可以通过缓存来解决。

什么情况下将js和css写在页面内呢，可以分为几种情况：js和css代码比较少；这个页面不怎么会访问

6、避免重定向

重定向就是用户请求的页面被转移到了别的地方，浏览器向服务请请求一个页面，服务器告诉浏览器请求的页面已经被转移到另外一个页面，并告知另一个页面地址，浏览器就再发送请求到重定向的地址。这样会增加服务器和浏览器之间的往返次数，影响网站性能。

重定向状态码有：301永久重定向 302临时重定向。304 not modified 并不是真的重定向，它是用来告诉浏览器get请求的文件在缓存中，避免重新下载。

7、移除重复脚本

8、使用ajax缓存

ajax的get和post方法：

只要是浏览器的get请求，浏览器都会使用缓存，对于同一地址的请求，服务器会发送304状态码到浏览器，浏览器就会使用缓存中的数据

post的请求每次都会被执行，浏览器不会缓存

9、使用Gzip压缩

10、使用CDN(内容分发网络)

第二：数据库调优

数据库的调优，总的来说分为以下三部分：

1.SQL调优：主要集中在索引、减少跨表与大数据join查询等。

2.数据库端架构设计优化：

通过读写分离调整对数据库的写操作，通过垂直拆分以及水平拆分(分库分表)来解决数据库端连接池瓶颈等问题。

3.连接池调优

可以通过熟悉连接池的原理，以及具体的连接池监控数据，来不断调试出最终的连接池参数。

第三：通过缓存减少后端压力

目前分布式缓存已经比较成熟，常见的有redis、memcached以及开源的淘宝分布式tair等。

选型考虑

如果数据量小，并且不会频繁地增长又清空（这会导致频繁地垃圾回收），那么可以选择本地缓存。具体的话，如果需要一些策略的支持（比如缓存满的逐出策略），可以考虑Ehcache；如不需要，可以考虑HashMap；如需要考虑多线程并发的场景，可以考虑ConcurentHashMap。

缓存是否会满，缓存满了怎么办？

对于一个缓存服务，理论上来说，随着缓存数据的日益增多，在容量有限的情况下，缓存肯定有一天会满的。如何应对？

① 给缓存服务，选择合适的缓存逐出算法，比如最常见的LRU。

② 针对当前设置的容量，设置适当的警戒值，比如10G的缓存，当缓存数据达到8G的时候，就开始发出报警，提前排查问题或者扩容。

③ 给一些没有必要长期保存的key，尽量设置过期时间。

第四：数据请求改造为异步

使用场景

用户并不关心或者用户不需要立即拿到这些事情的处理结果，这种情况就比较适合用异步的方式处理，这里的原则就是能异步就异步。

常见做法

一种做法，是额外开辟线程，这里可以采用额外开辟一个线程或者使用线程池的做法，在IO线程（处理请求响应）之外的线程来处理相应的任务，在IO线程中让response先返回。

如果异步线程处理的任务设计的数据量非常巨大，那么可以引入阻塞队列BlockingQueue作进一步的优化。具体做法是让一批异步线程不断地往阻塞队列里扔数据，然后额外起一个处理线程，循环批量从队列里拿预设大小的一批数据，来进行批处理（比如发一个批量的远程服务请求），这样进一步提高了性能。

另一种做法，是使用消息队列（MQ）中间件服务，MQ天生就是异步的。

第五：JVM调优

什么时候调？

通过监控系统对一些机器关键指标（gc time、gc count、各个分代的内存大小变化、机器的Load值与CPU使用率、JVM的线程数等）的监控报警，也可以看gc log和jstat等命令的输出，再结合线上JVM进程服务的一些关键接口的性能数据和请求体验，基本上就能定位出当前的JVM是否有问题，以及是否需要调优。

调优工具：

Jconsole，jProfile，VisualVM

Jconsole :jdk自带，功能简单，但是可以在系统有一定负荷的情况下使用。对垃圾回收算法有很详细的跟踪。详细说明参考这里

JProfiler：商业软件，需要付费。功能强大。详细说明参考这里

VisualVM：JDK自带，功能强大，与JProfiler类似。推荐。

如何调优？

观察内存释放情况、集合类检查、对象树

上面这些调优工具都提供了强大的功能，但是总的来说一般分为以下几类功能

堆信息查看

可查看堆空间大小分配（年轻代、年老代、持久代分配）

 

提供即时的垃圾回收功能

垃圾监控（长时间监控回收情况）

 

查看堆内类、对象信息查看：数量、类型等

对象引用情况查看

有了堆信息查看方面的功能，我们一般可以顺利解决以下问题：

--年老代年轻代大小划分是否合理

--内存泄漏

--垃圾回收算法设置是否合理

线程监控

 

线程信息监控：系统线程数量。

线程状态监控：各个线程都处在什么样的状态下

Dump线程详细信息：查看线程内部运行情况

死锁检查

热点分析

CPU热点：检查系统哪些方法占用的大量CPU时间

内存热点：检查哪些对象在系统中数量最大（一定时间内存活对象和销毁对象一起统计）

这两个东西对于系统优化很有帮助。我们可以根据找到的热点，有针对性的进行系统的瓶颈查找和进行系统优化，而不是漫无目的的进行所有代码的优化。

快照

快照是系统运行到某一时刻的一个定格。在我们进行调优的时候，不可能用眼睛去跟踪所有系统变化，依赖快照功能，我们就可以进行系统两个不同运行时刻，对象（或类、线程等）的不同，以便快速找到问题

举例说，我要检查系统进行垃圾回收以后，是否还有该收回的对象被遗漏下来的了。那么，我可以在进行垃圾回收前后，分别进行一次堆情况的快照，然后对比两次快照的对象情况。

内存泄漏检查

内存泄漏是比较常见的问题，而且解决方法也比较通用，这里可以重点说一下，而线程、热点方面的问题则是具体问题具体分析了。

内存泄漏一般可以理解为系统资源（各方面的资源，堆、栈、线程等）在错误使用的情况下，导致使用完毕的资源无法回收（或没有回收），从而导致新的资源分配请求无法完成，引起系统错误。

内存泄漏对系统危害比较大，因为他可以直接导致系统的崩溃。

性能调优总结：

大型网站的性能瓶颈大部分瓶颈都在数据库端，所以性能调优总是沿着如何减少对后端的压力来操作，数据库端的瓶颈经常会造成应用端的雪崩(比如：sql查询过长，长事务)等，所以需要及时解决后端性能。

1.通过读写分离、垂直拆分、水平拆分降低对数据库后端的压力。

2.通过优化sql语句，索引等，缩短对sql的查询时间。

2.通过缓存以及CDN来解决对图片、文件等的读操作，避免对数据库产生压力。

3.通过对web端的优化，js、css等压缩，提高大文件读取时间，尽量依赖CDN。

4.还有一个重点就是监控：对JVM、线程、sql查询时间等健康指标就行及时监控，通过监控及时发现瓶颈，及时优化。

 

浅谈数据库jvm缓存sql等性能调优方法和原则

浅谈数据库、JVM、缓存、SQL等性能调优方法和原则java互联网架构 2019-07-0713:19:00性能优化基本是BAT等一线互联网公司程序员必备的技能，以下为大家完整揭晓性能完整的优化方案和方法：包含web网站调优、数据库、JVM调... 查看详情

jvm性能调优

...优包含多个层次，比如：架构调优、代码调优、JVM调优、数据库调优、操作系统调优等。架构调优和代码调优是JVM调优的基础，其中架构调优是对系统影响最大的。性能调优基本上按照以下步骤进行：明确优化目标、发现性能瓶... 查看详情

jvm常用调优参数——jvm篇(代码片段)

...个层次，比如：架构调优、代码调优、JVM调优、数据库调优、操作系统调优等等。​架构调优和代码调优是JVM调优的基础，其中架构调优是对系统影响最大的。性能调优基本上按照以下步骤进行：明确优化目标发... 查看详情

jvm调优总结

...，大部分的时间都花在优化业务逻辑，减少与其他服务和数据库等接口的调用，使用缓存等方式提高性能。上述的工作都是对性能有提升的，但是对于一个熟练的农民工而言，对语言的特性已经成竹在胸，很难通过优化一两句代... 查看详情

写得太好了！树莓派安装docker

二、六大性能调优技术（JVM调优+网络调优+数据库调优+LINUX内核调优+中间件底层探索+容器环境调优）手绘板（脑图）1、JVM调优JVM调优必备理论知识-GcCOLLECTOR-三色标记垃圾回收算法串讲JVM常见参数... 查看详情

jvm性能调优实践——jvm篇

前言在遇到实际性能问题时，除了关注系统性能指标。还要结合应用程序的系统的日志、堆栈信息、GClog、threaddump等数据进行问题分析和定位。关于性能指标分析可以参考前一篇JVM性能调优实践——性能指标分析。JVM的调优和故... 查看详情

jvm性能调优

...优包含多个层次，比如：架构调优、代码调优、JVM调优、数据库调优、操作系统调优等。架构调优和代码调优是JVM调优的基础，其中架构调优是对系统影响最大的。性能调优基本上按照以下步骤进行：明确优化目标、发现性能瓶... 查看详情

jvm调优浅谈

 1.数据类型    java虚拟机中，数据类型可以分为两类：基本类型和引用类型。  基本类型的变量保存原始值，即：它代表的值就是数值本身，而引用类型的变量保存引用值。  “引用值”代表了某... 查看详情

jvm原理及性能调优系列（自动内存管理机制）

JAVA内存区域和内存溢出异常1、JAVA运行时数据区如下图　　　　程序计数器：当前线程正在执行的代码的行号指示器。是线程私有的。它是JAVA虚拟机唯一没有指定OutOfMerroryError异常的区域。　　虚拟机栈：是线程私有的。描述的... 查看详情

Spark SQL 性能调优

】SparkSQL性能调优【英文标题】：SparkSQLPerformanceTuning【发布时间】：2019-06-2713:14:36【问题描述】：我在一个ETL开发团队工作，我们使用Spark-SQL来转换数据，方法是按顺序创建和处理多个中间临时视图，最后得到另一个临时视图，... 查看详情

jvm性能分析和调优方向

...+年老代新生代=1个Eden区+2个survivo区非堆内存=持久代+代码缓存 -server：服务器模式，该参数放置在配置项的首位置-Xms：堆的初始大小，单位MB配置-Xms与-Xmx一致，为可用内存的80%-XmX：堆的最大大小，单位MB-Xmn：新生代的初始... 查看详情

jvm原理及性能调优系列（jvm调优）

...好堆的比例分配。2、设置合适的新生代因为对其对系统性能和GC回收有一定的影响。3、设置合适的持久代因为其直接决定系统可以支持多少个类定义和多少个常亮。4、设置合适的线程栈否则系统可能因为线程所需资源和空间不... 查看详情

elasticsearch性能优化实践(jvm调优+es调优)

...ES的内存buffer，然后执行refresh操作写入到操作系统的内存缓存oscache，此后数据就可以被搜索到。所以，日志延迟可能是我们的数据积压在buffer中没有进入oscache。查看日志发现很多write拒绝执行的情况从日志中可以看出ES的write线... 查看详情

jvm.gc性能调优方法与思路

调优方法与思路如何分析系统JVMGC运行状况及合理优化？GC优化的核心思路在于：尽可能让对象在新生代中分配和回收，尽量避免过多对象进入老年代，导致对老年代频繁进行垃圾回收，同时给系统足够的内存减少新生代垃圾回... 查看详情

jvm调优--06---调优案例汇总(代码片段)

...052161/article/details/109850282)生产案例结论:批量程序,r如果对数据库==仅有select操作==循环中,一定要记得==commit或者update操作==,不然会缓存累积,最后导致OOM 查看详情

jvm配置常用参数和常用gc调优策略(代码片段)

...串行、并行和并发三种，对于大内存的应用而言，串行的性能太低，因此使用到的主要是并行和并发两种。并行和并发GC的策略通过 UseParallelGC 和 UseConcMarkSweepGC 来指定，还有一些细节的配置参数用来配置策略的执... 查看详情

jvm性能调优有哪些方法

设定堆内存大小-Xmx：堆内存最大限制。设定新生代大小。新生代不宜太小，否则会有大量对象涌入老年代-XX:NewSize：新生代大小-XX:NewRatio新生代和老生代占比-XX:SurvivorRatio：伊甸园空间和幸存者空间的占比设定垃... 查看详情

jvm调优概述

...该给服务器分配多少内存合适？如何对垃圾回收器的性能进行调优？生产环境CPU负载过高时该如何处理？生产环境应该给应用分配多少线程合适？如何确定请求是否执行了某一行代码？如何实时查看某个方法... 查看详情