tomcat设置最佳线程数总结

stone-xiao stone-xiao     2022-12-19     716

关键词:

性能压测的情况下,起初随着用户数的增加,QPS会上升,当到了一定的阀值之后,用户数量增加QPS并不会增加,或者增加不明显,同时请求的响应时间却大幅增加。这个阀值我们认为是最佳线程数。

 

为什么要找最佳线程数:

1.过多的线程只会造成,更多的内存开销,更多的CPU开销,但是对提升QPS确毫无帮助

2.找到最佳线程数后通过简单的设置,可以让web系统更加稳定,得到最高,最稳定的QPS输出

 

最佳线程数的获取:

1、通过用户慢慢递增来进行性能压测,观察QPS,响应时间

2、根据公式计算:服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量

3、单用户压测,查看CPU的消耗,然后直接乘以百分比,再进行压测,一般这个值的附近应该就是最佳线程数量。

 

影响最佳线程数的主要因素:

1、IO

2、CPU

根据公式:服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量

一般来说是IO和CPU。IO开销较多的应用其CPU线程等待时间会比较长,所以线程数量可以开的多一些,相反则线程数量要少一些,其实有两种极端,纯IO的应用,比如proxy,则线程数量可以开到非常大(实在太大了则需要考虑线程切换的开销),这种应用基本上后端(比如这个proxy是代理搜索的)的QPS能有多少,proxy就有多少。

另一种是耗CPU的计算,这种情况一般来讲只能开到CPU个数的线程数量。但是并不是说这种应用的QPS就不高,往往这种应用的QPS可以很高。

 

QPS和线程数的关系

1、在最佳线程数量之前,QPS和线程是互相递增的关系,线程数量到了最佳线程之后,QPS持平,不在上升,甚至略有下降,同时相应时间持续上升。

2、同一个系统而言,支持的线程数越多(最佳线程数越多而不是配置的线程数越多),QPS越高

 

QPS和响应时间的关系

1、对于一般的web系统,响应时间一般有CPU执行时间+IO等待时间组成

2、CPU的执行时间减少,对QPS有实质的提升,IO时间的减少,对QPS提升不明显。如果要想明显提升QPS,优化系统的时候要着重优化CPU消耗大户。

 

最佳线程数和jvm堆内存得关系:

以上都是依据性能瓶颈在CPU的情况,对于java应用还有一个因素是FULL GC,我们要保证在最佳线程数量下,不会发生频繁FULL GC

根据公式::(小GC时间间隔/rt)*(并发线程数量 * thm) <=young 计算得到的并发线程数量如果<最佳线程数量 则可能导致FULL GC较频繁,实际情况看来这种情况在web系统上非常少。不过可以模拟出来。

所以我们在设置jboss线程的时候,可以利用内存公式计算出来的线程数量来设置,通过压测和计算得到最佳线程数,然后设置线程数。

 

设置线程数量:

压测最佳线程数<真实设置的线程数量<内存极限线程数

比如,通过压测得到某系统的最佳线程数量是10,然后通过内存计算的线程数量是20,则,设置jboss的线程数量为15是可行的,如果直接设置了10,由于系统本身会受到一些依赖系统的变化而产生一些变化,比如系统依赖一些IO的响应时间会突然延长,由于线程数量还是10,其实这个时候最佳线程数量已经变成了13了,由于我们设置死了10,其结果就是导致qps下降,但是如果超过20,则又会引起FULL gc非常频繁,反过来影响QPS的下降。

 

jboss的线程数设置:

对于jboss而言,设置线程数量要看使用了那种线程连接,如http、ajp等

http和ajp的设置是完全一样的,非常简单:

以ajp为例,找到server.xml或者tomcat-server.xml:

默认线程数量是200个

 <Connector port="8009" address="$jboss.bind.address" connectionTimeout="15000" protocol="AJP/1.3" maxThreads="200" minSpareThreads="40" maxSpareThreads="75" maxPostSize="512000" acceptCount="300" bufferSize="16384" emptySessionPath="false" enableLookups="false" redirectPort="8443" useBodyEncodingForURI="true"/>

这里将默认的线程数量改成了20,当然相应的其他最小空闲线程数和最大空闲线程数也做一下调整:

<Connector port="8009" address="$jboss.bind.address" connectionTimeout="15000" protocol="AJP/1.3" maxThreads="20" minSpareThreads="20" maxSpareThreads="20" maxPostSize="512000" acceptCount="300" bufferSize="16384" emptySessionPath="false" enableLookups="false" redirectPort="8443" useBodyEncodingForURI="true"/>

原文地址:https://www.cnblogs.com/stone-xiao/p/6007185.html

最佳线程数和qps以及rt

...应时间,一个请求的响应时间,也可以是一段时间的平均值.最佳线程数:刚好消耗完服务器瓶颈资源的临界线程数.QPS和RT的关系对于单线程:QPS=1000/RT对于多线程:QPS=1000*线程数/RT性能的两个点:吞吐量和延迟,通俗的解释就是QPS和... 查看详情

如何增加tomcat线程池中的线程数?

】如何增加tomcat线程池中的线程数?【英文标题】:Howtoincreasenumberofthreadsintomcatthreadpool?【发布时间】:2011-09-1803:54:41【问题描述】:我只想知道以及设置最大值的数字是多少,我不知道什么合适?【问题讨论】:【参考方案1】... 查看详情

tomcat如果没有设置acceptcount,还会排队吗

参考技术AmaxThreads:tomcat起动的最大线程数,即同时处理的任务个数,默认值为200acceptCount:当tomcat起动的线程数达到最大时,接受排队的请求个数,默认值为100这两个值如何起作用,请看下面三种情况情况1:接受一个请求,此... 查看详情

如何监视tomcat5.23已经使用的线程数

参考技术A根据你的机器和速度来设置.1.如何加大tomcat连接数在tomcat配置文件server.xml中的<Connector.../>配置中,和连接数相关的参数有:minProcessors:最小空闲连接线程数,用于提高系统处理性能,默认值为10maxProcessors:最大连... 查看详情

tomcat优化-提高并发

...可是在高并发时的性能并不好,这个时候就要考虑是不是TOMCAT服务器的性能限制了并发。Tomcat的server.xml中连接器设置如下tomcat在配置时设置最大线程数,当前线程数超过这个数值时会出错,那么有没有办法捕获到这个错误,从... 查看详情

最佳线程数实战

...xff0c;则线程数=8*60%* (1+30/2)=76.8,那么线程数设置77可能就是最佳值,具体可以根据具体压测值或者线上最佳实践来设置,这里只是个预估公式,不一定准,可以减少我们初期的试错次数。  查看详情

tomcat线程池详解

...属性为线程池中每个线程的name字符串设置了一个前缀,Tomcat将把线程号追加到这一前缀的后面。默认值:tomcat-exec-;maxThreads:该线程池可以容纳的最大线程数。默认值:200;maxIdleTime:在Tomcat关闭一个空闲线程之前,允许空闲... 查看详情

如何为超线程/多核选择最佳线程数?

】如何为超线程/多核选择最佳线程数?【英文标题】:HowdoIpickthebestnumberofthreadsforhyptherthreading/multicore?【发布时间】:2010-11-0119:09:10【问题描述】:我在.NET3.5控制台应用程序中有一些令人尴尬的并行工作,我想利用超线程和多... 查看详情

tomcat使用线程池配置高并发连接

...属性为线程池中每个线程的name字符串设置了一个前缀,Tomcat将把线程号追加到这一前缀的后面。默认值:tomcat-exec-;maxThreads:该线程池可以容纳的最大线程数。默认值:200;maxIdleTime:在Tomcat关闭一个空闲线程之前,允许空闲... 查看详情

springboot内置tomcat并发多少

SpringBoot内置Tomcat,在默认设置中,Tomcat的最大线程数是200,最大连接数是10000。支持的并发量是指连接数。Tomcat有两种处理连接的模式,一种是BIO,一个线程只处理一个连接,另一种就是NIO,一个线程处理多个连接。由于HTTP请... 查看详情

每个核心的最佳线程数

】每个核心的最佳线程数【英文标题】:Optimalnumberofthreadspercore【发布时间】:2010-12-1515:56:19【问题描述】:假设我有一个4核CPU,我想在最短的时间内运行一些进程。理想情况下,该过程是可并行化的,因此我可以在无限数量的... 查看详情

最佳线程数实战

对于计算密集型任务,在拥有N 个核的CPU的系统上,当线程池大小为N+1时,通常能实现最优的利用率,(即当计算密集型任务偶尔由于页缺失故障或者其他原因而暂停时,这个额外的现线程也能够确保CPU的时钟周期不会被浪费) 对于IO... 查看详情

如何配置springboot内嵌的tomcat8的最大线程数,最大连接数

参考技术Atomcat最大线程数的设置Tomcat的server.xml中连接器设置如下<Connectorport="8080"maxThreads="150"minSpareThreads="25"maxSpareThreads="75"enableLookups="false"redirectPort="8443"acceptCount="100"debug=&... 查看详情

CUDA 扭曲和每个块的最佳线程数

】CUDA扭曲和每个块的最佳线程数【英文标题】:CUDAWarpsandOptimalNumberofThreadsPerBlock【发布时间】:2015-12-2714:59:56【问题描述】:根据我对KeplerGPU和一般CUDA的了解,当单个SMX单元在块上工作时,它会启动由32个线程组成的warp。现在... 查看详情

C ++ - 处理字符串的最佳线程数[关闭]

】C++-处理字符串的最佳线程数[关闭]【英文标题】:C++-Optimalnumberofthreadsforprocessingstring[closed]【发布时间】:2015-08-2506:07:18【问题描述】:我有一个长度为N的std::string,我想使用线程将长度为K的所有子字符串插入到std::set容器中... 查看详情

在 java 中执行 IO 操作的最佳线程数是多少?

】在java中执行IO操作的最佳线程数是多少?【英文标题】:WhatistheoptimalnumberofthreadsforperformingIOoperationsinjava?【发布时间】:2010-11-1709:59:50【问题描述】:在Goetz的“JavaConcurrencyinPractice”中,在第101页的脚注中,他写道“对于此类... 查看详情

java并发计算线程池最佳线程数(代码片段)

目录  一、理论分析  二、实际应用 为了加快程序处理速度,我们会将问题分解成若干个并发执行的任务。并且创建线程池,将任务委派给线程池中的线程,以便使它们可以并发地执行。在高并发的情况下采用线程池,... 查看详情

使用英特尔 OpenMP 找到最佳线程数:只有 1 个线程比许多线程有更好的结果

】使用英特尔OpenMP找到最佳线程数:只有1个线程比许多线程有更好的结果【英文标题】:FindthebestnumberofthreadwithIntelOpenMP:only1threadhasbetterresultsthanmanythreads【发布时间】:2020-05-1009:02:35【问题描述】:在我的代码中多次使用以下类... 查看详情