报表worker-cpu使用率过高原因排查

冰冰与铛铛 冰冰与铛铛     2022-09-21     587

关键词:

一、排查过程
1:查看机器监控,初步判断可能有耗CPU的线程
 
技术分享
bf04410e-9f05-4958-83e0-a2ead10a4aaa
2:导出jstack,发现有大量的RUNNABLE线程,都在java-NIO,之前看过下面http://bugs.java.com/bugdatabase/view_bug.do?bug_id=6403933这篇文章,感觉是这个BUG,由于对ES不熟悉,网上看了一些ES资料,寻求从网络寻找类似案例,没有找到结果。
技术分享
acee5685-d3d6-4d18-8f91-6e2b4208d77f
3:第二天,查看NETTY代码发现,netty已经解决了NIO-BUG,可以排除NIO-BUG了。
 
技术分享
2a2ab8d7-faab-49ff-a37c-36e3021568fe
4:导出jstat信息,发现JVM老年代占用过高(达到97%),Full-GC频率超高,FULL-GC总共占用了36小时。初步定位是频繁FULL-GC导致CPU负载过高。
 
技术分享
6a7fb44a-b86a-44a3-9355-5888aae1db3f
5:使用jmap –histo导出堆概要信息,发现有个超大的HashMap。
 
 
技术分享
2dcacbd2-fd8d-431c-93c1-038e98f02f1c
6:使用jmap –dump导出堆。
技术分享
74ae2f08-3c07-43f3-99c2-e4cd27946419
技术分享
6523c119-ba92-4fc0-84ab-e4417672b50d
得出hashMap中的KEY是运单号
二、总结
1:使用缓存时要做容量估算,并考虑数据增长率
2:缓存要有过期时间。

linux系统cpu/内存使用率过高的问题排查

...上、系统触发OOM(OutOfMemory)等。通常情况下当实例内存使用率持续高于90%时,可判断为实例内存使用率过高。CPU/内存使用率过高的问题原因可能由硬件因素、系统进程、业务进程或者木马病毒等因素导致。  笔者以前写... 查看详情

clickhouse性能瓶颈排查io过高

前几天公司clickhouse有个查询很慢。经理一直追问为什么慢是cpu不够还是IO占用太高,还是其他的原因。于是有了以下的排查 执行该条,在不考虑优化sql的情况下进行性能排查  1、首先便是万能的top第三行CPU信息统计... 查看详情

运维排查-使用hcache插件排查buffer/cache占用过高

一hcache插件1.1hcache插件的作用hcache是基于pcstat的,pcstat可以查看某个文件是否被缓存和根据进程pid来查看都缓存了哪些文件。hcache在其基础上增加了查看整个操作系统Cache和根据使用Cache大小排序的特性。1.2buffer和cache产生的... 查看详情

排查linux下java应用cpu占用过高

用于快速排查Java的CPU性能问题(topus值过高),自动查出运行的Java进程中消耗CPU多的线程,并打印出其线程栈,从而确定导致性能问题的方法调用。目前只支持Linux。原因是Mac、Windows的ps命令不支持列出进程的线程id,更多信息参... 查看详情

mysql数据库cpu占用过高原因排查showprocesslist

参考技术Amysql服务器最近偶尔出现cpu百分百居高不下的情况,所以需要进行分析兄弟命令showprocesslist;只列出前100条,如果想全列出请使用showfullprocesslist;先简单说一下各列的含义和用途:正在将表中修改的数据刷新到磁盘中,同... 查看详情

rk3399平台开发系列讲解(内核入门篇)1.42cpu使用率过高怎么排查?

平台内核版本安卓版本RK3399Linux4.4Android7.1 查看详情

java程序cpu占用过高问题排查

记录:java程序CPU占用过高问题排查(很有用哦)https://blog.csdn.net/puhaiyang/article/details/78663942LinuxCPU信息和使用情况查看(CentOS)https://www.cnblogs.com/lsdb/p/7063577.html一次生产CPU100%排查优化 查看详情

cpu使用率过高问题排查及linux之top命令用法详解(代码片段)

...息Top1的用法%CPU和us%的区别问题公司连续2天服务器告警CPU使用率过高问题,查看日志无果,尝试使用top命令排查问题。解决方案在Linux系统下,使用top命令查看CPU使用情况。%Cpu(s):0.3us,0.1sy,0.0ni,99.6id,0.0wa,0 查看详情

cpu负载过高异常排查实践与总结

昨天下午突然收到运维邮件报警,显示数据平台服务器cpu利用率达到了98.94%,而且最近一段时间一直持续在70%以上,看起来像是硬件资源到瓶颈需要扩容了,但仔细思考就会发现咱们的业务系统并不是一个高并发或者CPU密集型的... 查看详情

jvm故障问题排查心得「虚拟机线程问题」实战分析jvm线程导致cpu过载过高的问题排查方案(代码片段)

...问题根源通过top指令发现,当前5511的线程cup和内存的使用率过高:top5511root20016.841g6.088g5584 查看详情

[转]生产环境中程序占用cpu过高的程序的排查办法

一个应用占用CPU很高,除了确实是计算密集型应用之外,通常原因都是出现了死循环。以我们最近出现的一个实际故障为例,介绍怎么定位和解决这类问题。根据top命令,发现PID为28555的Java进程占用CPU高达200%,出现故障。通过ps... 查看详情

如何在生产环境排查rust内存占用过高问题(代码片段)

...想分享一下,我们在实践过程中遇到的关于内存占用过高的问题。对于这些内存问题,在本文中会做出简单的分类,以及提供我们在生产环境下进行排查定位的方法给大家参考。本文最先发表于RustMagazine中文月刊(蚂... 查看详情

如何在生产环境排查rust内存占用过高问题(代码片段)

...想分享一下,我们在实践过程中遇到的关于内存占用过高的问题。对于这些内存问题,在本文中会做出简单的分类,以及提供我们在生产环境下进行排查定位的方法给大家参考。本文最先发表于RustMagazine中文月刊(蚂... 查看详情

一次javacpu占用过高的排查

某一个项目CPU占用率一直很高,经常在40%-50%之间,最近比较闲,就开始了挂查工作。1.通过 jstack命令输出进程的堆栈信息jstack2788>C:log.txt将堆栈信息输出到log.txt"dubbo-remoting-client-heartbeat-thread-1"#46daemonprio=5os_prio=0tid=0x000000005... 查看详情

电脑cpu占用过高怎么办

...帮助到大家!  cpu使用过高的原因与解决方法一  cpu使用率高怎么办,电脑进程CPU占用100%解决办法!  CPU使用率高的原因  1、一些杀毒软件会对网页、进程、插件、邮件监控,可能会造成扫描一些程序的时候造成死循环... 查看详情

jstack排查cpu占用过高的问题

  查看详情

weblogic下java程序占用cpu过高的问题排查

  1、cpu使用情况如图:2、执行命令:jstack126624>cpu1112.log  (注意执行此命令时的用户需为执行进程的用户,所以此处需要用weblogic用户)若执行此命令报错:Unabletoopensocketfile:targetprocessnotrespondingorHotSpotVMnotloadedTh... 查看详情

redis故障排查「连接失败问题排查和解决」带你总体分析cpu及内存的使用率高问题排查指南及方案

主体内容Redis实例CPU使用率高问题排查和解决Redis实例内存使用率高问题排查和解决Redis实例CPU使用率高问题排查和解决问题现象Redis实例CPU使用率短时间内冲高。CPU过高可能会导致连接超时,影响业务。发生Redis的持久化重写操... 查看详情