四时宝库

程序员的知识宝库

记一次生产环境jvm内存泄漏的排查

1.问题现象

JVM就抛出OOM异常,后台服务进程假死,健康检查都是失败,服务无法访问。

重启服务器

2023-11-14 06:19 收到告警某个线上有个服务一直无响应,监控程序主动把流量摘除。

登录服务器,查看是否有dump文件和gc日志,已经有日志了。赶忙将该服务先重启,挂上流量。

查看业务日志

查看业务日志是否有报错,观察业务日志,发生了
Java.lang.OutOfMemoryError: Java heap space 如下图所示,但是很奇怪的是通过这里定位不出来到底是哪里有问题。当时就怀疑是这块代码有问题,但是看了业务代码没发现问题。

观察GC日志

接下来看了一下gc日志,发现频繁Full GC,并且gc日志是从2023-11-12日开始的,到2023-11-14 06:19 FUll GC 的频率越来越快,最后Full GC 后释放不了空间了,所以导致了
Java.lang.OutOfMemoryError: Java heap space,如下图

MAT(Memory Analyzer Tool)工具进行分析

在这里已经能感觉到内存泄露造成的,但是还没确定是哪块业务代码造成的。接下来我用了MAT(Memory Analyzer Tool)这个工具来查看堆栈日志,如果没有这个工具可以去官网下载,官网地址:
https://eclipse.dev/mat/downloads.php
,根据自己的电脑选择对应的版本下载。

双击运行MemoryAnalyzer.exe的时候如果报以下图错误,需要打开MemoryAnalyzer.ini

添加如下配置:

-vm
C:/Program Files/Java/jdk-17.0.9/bin/javaw.exe

如果还是报错,可以尝试看一下官网MemoryAnalyzer.exe需要jdk的那个版本。

MAT怎么使用在这里就不介绍了,可以看一下官网方文档,文档地址:Help - Eclipse Platform

用MAT打开堆文件,会弹出向导界面,保持默认设置,直接点Finish即是分析内存泄露问题。在点击Finish后,会出现overview界面,您可以点击工具栏上的 Leak Suspects 菜单项来生成内存泄露分析报告,也可以直接点击饼图下方的 Reports->Leak Suspects链接来生成报告。如图:

MAT工具分析了heap dump后在界面上非常直观的展示了一个饼图,该图深色区域被怀疑有内存泄漏,可以发现整个heap才250M内存,深色区域就占了85..02%。接下来是一个简短的描述,告诉我们QueryPlanCache这里占用了大量的内存,在下面还有一个"Details"链接,在点开之前不妨考虑一个问题:为何对象实例会聚集在内存中,为何存活(而未被GC)?

点击了"Details"链接之后,除了在上一页看到的描述外,还有Shortest Paths To the Accumulation Point和Accumulated Objects by Class in Dominator Tree 部分,这里说明了从GC root到聚集点的最短路径,以及完整的reference chain。观察Accumulated Objects部分,BoundedConcurrentHashMap$Segment[]占用最大,但是这里面存放的是什么呢?

接下来我们打开dominator_tree来看一下,展开大对象,发现ConcurrentHashMap中所有的元素都是一个参数值不同的HQL(jpa封装的sql)缓存值,格式化HQL分析,可以看出该HQL 对应的 查询条件 由 IN where 对应一个字段,在代码中查找定位相关代码。

原因解析

通过stackOverflow文章定位了原因,文章地址:Attention Required! | Cloudflare

如果您使用了Hibernate或Spring data jpa。QueryPlanCache会缓存sql,以便于后边的相同的sql重复编译,如果in后的参数不同,hibernate会把其当成不同的sql进行缓存,从而缓存大量的sql导致heap内存溢出。

虽然问题定位了,但是发现了一个奇怪的现象,为啥堆内存的大小是250M呢,明明启动参数是设置的是4个G,经过一凡追踪和询问,上次有个kafka问题重启服务的时候启动脚本带的堆内存大小是250M,思考如果堆内存还是4个G。这个问题多久能报出来?还是永远不会爆出来呢?

解决方案

#管理缓存中 ParameterMetadata 实例的数量(默认为 128)
spring.jpa.properties.hibernate.query.plan_parameter_metadata_max_size=5

#控制计划缓存中的最大条目数(默认为 2048)
spring.jpa.properties.hibernate.query.plan_cache_max_size=64

#设置缓存中保存的最大软引用数。将此值设置为 Integer.MAX_VALUE 以复制 5.1.1 及更早版本的行为。例如2048(默认)
spring.jpa.properties.hibernate.query.plan_cache_max_soft_references=1024

#设置缓存中保存的最大强引用数。例如128(默认)
spring.jpa.properties.hibernate.query.plan_cache_max_strong_references=64

spring.jpa.properties.hibernate.query.in_clause_parameter_padding=true

知识补充:

Shallow Size是对象本身占据的内存的大小,不包含其引用的对象。对于常规对象(非数组)的Shallow Size由其成员变量的数量和类型来定,而数组的ShallowSize由数组类型和数组长度来决定,它为数组元素大小的总和。

Retained Size=当前对象大小+当前对象可直接或间接引用到的对象的大小总和。(间接引用的含义:A->B->C,C就是间接引用) ,并且排除被GC Roots直接或者间接引用的对象

Java启动参数配置看一下这个文章
https://zhuanlan.zhihu.com/p/269591764

发表评论:

控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言
    友情链接