Spring Boot假死诊断实战记录
这两天遇到一个服务假死的问题，具体现象就是服务不再接收任何请求，客户端会抛出Broken Pipe。
检查系统状态
执行top，发现CPU和内存占用都不高，但是通过命令
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
发现有大量的CLOSE_WAIT端口占用，继续调用该服务的api，等待超时之后发现CLOSE_WAIT的数量也没有上升，也就是说服务几乎完全僵死。
检查JVM情况
怀疑可能是线程有死锁，决定先dump一下线程情况，执行
jstack <pid> > /tmp/thread.hump
发现tomcat线程基本也正常，都是parking状态。
这就比较奇怪了，继续想是不是GC导致了STW，使用jstat查看垃圾回收情况
app@server:/tmp$ jstat -gcutil 1 2000 10 S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 0.00 27.79 65.01 15.30 94.75 92.23 1338 44.375 1881 475.064 519.439
一看吓一跳，FGC的次数居然超过了YGC，时长有475s。一定是有什么原因触发了FGC，好在我们打开了GC log。
发现一段时间内频繁发生Allocation Failure引起的Full GC。而且eden区的使用占比也很大，考虑有频繁新建对象逃逸到老年代造成问题。询问了一下业务的开发，确认有一个外部对接API没有分页，查询后可能会产生大量对象。
由于外部API暂时无法联系对方修改，所以为了先解决问题，对原有的MaxNewSize进扩容，从192MB扩容到一倍。经过几天的观察，发现gc基本趋于正常
S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 0.00 3.37 60.55 8.60 95.08 92.98 87 2.421 0 0.000 2.421
扩容之前对heap进行了dump
jmap -dump:format=b,file=heapDump <PID>
通过MAT分析内存泄露，居然疑似是jdbc中的一个类，但其实整体占用堆容量并不多。
分析了线程数量，大约是240多条，与正常时也并没有很大的出入。而且大量的是在sleep的定时线程。
总结
本次排查其实并未找到真正的原因，间接表象是FGC频繁导致服务假死。而且acturator端口是正常工作的，导致health check进程误认为服务正常，没有触发告警。如果你也遇到类似的情况欢迎一起讨论。
好了，以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。
相关文章
这篇文章主要介绍了springboot读取自定义配置文件节点的方法，本文给大家介绍的非常不错，具有一定的参考借鉴价值 ,需要的朋友可以参考下2018-05-05
这篇文章主要介绍了详解IDEA JUnit5测试套件运行错误的问题,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-12-12
这篇文章主要介绍了JAVA中的队列(Queue)详解，队列是一种特殊的线性表，遵循先入先出、后入后出的基本原则，一般来说，它只允许在表的前端进行删除操作,需要的朋友可以参考下2023-07-07
这篇文章主要为大家详细介绍了Linux下JDK安装教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-06-06
最近在一个项目中遇到一个问题，当面对一些不规范的json,我们的gson解析经常会抛出各种异常导致app崩溃,通过在网上查找资料，找到了原因，这篇文章给大家介绍了一些可以采取的措施来避免这种情况，有需要的朋友们可以一起来学习学习。2016-11-11
这篇文章主要介绍了Java多线程的临界资源问题解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了如何在IntelliJ IDEA开发环境中搭建字节码和汇编环境,以便更好地进行代码调优和JVM学习,首先,介绍了如何配置IntelliJ IDEA以方便查看Java字节码文件,接着,详细说明了如何下载和配置HSDIS插件,以便在IDEA中查看Java方法的汇编代码2025-01-01
本篇文章主要介绍了Spring中的FactoryBean，如果一个bean的创建过程中涉及到很多其他的bean 和复杂的逻辑，用xml配置比较困难，这时可以考虑用FactoryBean2017-04-04
这篇文章主要介绍了如何将本地SpringBoot项目发布到云服务器,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-12-12
在Java中数组是一种非常常见的数据结构,它可以用来存储多个相同类型的数据,有时候,我们需要将数组转换为字符串,以便于输出或者传递给其他方法,这篇文章主要给大家介绍了关于java byte数组转String的几种常用方法,需要的朋友可以参考下2024-09-09
最新评论