对Docker-java项目进行jvm调优-内存方式
更新时间：2024年09月25日 10:15:10 作者：背风衣人
本文详细介绍了如何进入Docker容器并分析Java进程的内存使用情况,通过使用jps和jstat工具,可以查看java进程列表及内存池容量,讨论了设置JVM参数-Xmx和-Xms相等的重要性,以避免堆内存的频繁调整,此外,还探讨了FullGC触发条件和元空间的配置
1. 分析内存使用情况
1.1 进入docker容器
# 查看容器列表 docker ps # 根据容器name或id进入容器命令行终端 docker exec -it <container_name> bash
1.2 通过jps查看当前java进程列表
三种不同详细程度的进程列表（主要是获取java进程的lvmid）
root@21e4300860c8:/# jps 1 jar 79 Jps root@21e4300860c8:/# jps -l 1 /knx-organization-service-exec.jar 127 sun.tools.jps.Jps root@21e4300860c8:/# jps -lv 1 /knx-organization-service-exec.jar -Xmx512m -Xms512m -Dspring.profiles.active=dev,jiewli -Djasypt.encryptor.password= -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=18000 139 sun.tools.jps.Jps -Dapplication.home=/usr/lib/jvm/java-8-openjdk-amd64 -Xms8m
1.3 通过jstat -gccapacity统计java进程的内存池容量
root@21e4300860c8:/# jstat -gccapacity -h 20 1 250 NGCMN NGCMX NGC S0C S1C EC OGCMN OGCMX OGC OC MCMN MCMX MC CCSMN CCSMX CCSC YGC FGC 174592.0 174592.0 174592.0 7680.0 8704.0 157184.0 349696.0 349696.0 349696.0 349696.0 0.0 1136640.0 98280.0 0.0 1048576.0 11904.0 46 4 174592.0 174592.0 174592.0 7680.0 8704.0 157184.0 349696.0 349696.0 349696.0 349696.0 0.0 1136640.0 98280.0 0.0 1048576.0 11904.0 46 4 174592.0 174592.0 174592.0 7680.0 8704.0 157184.0 349696.0 349696.0 349696.0 349696.0 0.0 1136640.0 98280.0 0.0 1048576.0 11904.0 46 4 174592.0 174592.0 174592.0 7680.0 8704.0 157184.0 349696.0 349696.0 349696.0 349696.0 0.0 1136640.0 98280.0 0.0 1048576.0 11904.0 46 4 174592.0 174592.0 174592.0 7680.0 8704.0 157184.0 349696.0 349696.0 349696.0 349696.0 0.0 1136640.0 98280.0 0.0 1048576.0 11904.0 46 4 174592.0 174592.0 174592.0 7680.0 8704.0 157184.0 349696.0 349696.0 349696.0 349696.0 0.0 1136640.0 98280.0 0.0 1048576.0 11904.0 46 4 174592.0 174592.0 174592.0 7680.0 8704.0 157184.0 349696.0 349696.0 349696.0 349696.0 0.0 1136640.0 98280.0 0.0 1048576.0 11904.0 46 4
说明：
- 新生代空间由
Survivor0、Survivor1、Eden（幸存者空间0、幸存者空间1、伊甸园）三部分组成 OGC = sum(all OC)，目前老年代只有一个空间，故而OGC与OC相等。可以探究一下老年代有多个空间的时候有什么差异。- JVM参数
-Xmx512m最大堆内存等于NGCMX + OGCMX - JVM参数
-Xms512m最小堆内存等于NGCMN + OGCMN - 将堆的最小值
-Xms参数与最大值-Xmx参数设置为一样即可避免堆自动扩展。因为JVM初始分配的内存由-Xms指定，默认是物理内存的1/64；JVM最大分配的内存由-Xmx指定，默认是物理内存的1/4。默认空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制；空余堆内存大于70%时，JVM会减少堆直到-Xms的最小限制。因此服务器一般设置-Xms、-Xmx相等以避免在每次GC后调整堆的大小。对象的堆内存由称为垃圾回收器的自动内存管理系统回收。 - Full GC触发条件：
- 调用
System.gc时 - 老年代空间不足
- 方法区空间不足
- 通过Minor GC（新生代GC）后进入老年代的平均大小大于老年代的可用内存
- 由Eden区、From Space区向To Space区复制时，对象大小大于To Space可用内存，则把该对象转存到老年代，且老年代的可用内存小于该对象大小
JVM参数-XX:MetaspaceSize元空间初始化内存大小，默认是20.79MB，超过20.79MB后，每次元空间扩增都会触发Full GC，所以这个值设大一点可以减少Full GC次数。
JVM参数-XX:MaxMetaspaceSize元空间最大内存大小，默认是无限（超过宿主机内存视为与宿主机内存一致），设置这个值，可以避免在发生故障时占用大量宿主机内存资源，影响其他服务。
| 列代码 | 列名 | 容量（kB） | 容量（MB） |
|---|---|---|---|
| NGCMN | 初始新生代空间容量 | 174592.0 | 170.5 |
| NGCMX | 最大新生代空间容量 | 174592.0 | 170.5 |
| NGC | 当前新生代容量 | 174592.0 | 170.5 |
| S0C | 当前幸存者空间0容量 | 7680.0 | 7.5 |
| S1C | 当前幸存者空间1容量 | 8704.0 | 8.5 |
| EC | 当前Eden（伊甸园）区空间容量 | 157184.0 | 153.5 |
| OGCMN | 初始老年代空间容量 | 349696.0 | 341.5 |
| OGCMX | 最大老年代空间容量 | 349696.0 | 341.5 |
| OGC | 当前老年代空间容量 | 349696.0 | 341.5 |
| MCMN | 初始元空间容量 | 0.0 | 0 |
| MCMX | 最大元空间容量 | 1136640.0 | 1,110 |
| MC | 当前元空间容量 | 98280.0 | 95.9765625 |
| CCSMN | 压缩的类空间初始容量 | 0.0 | 0 |
| CCSMX | 压缩的类空间最大容量 | 1048576.0 | 1,024 |
| CCSC | 当前压缩的类空间容量 | 11904.0 | 11.625 |
| YGC | 新生代GC事件数量 | 46 | |
| FGC | 完整GC事件数量 | 4 |
1.4 也可以通过jstat -gc来统计
root@7f9fbd4518a4:/# jstat -gc -h 20 1 250 S0C S1C S0U S1U EC EU OC OU MC MU CCSC CCSU YGC YGCT FGC FGCT GCT 10240.0 10240.0 2416.0 0.0 154112.0 123601.6 349696.0 60088.4 81112.0 75681.7 9432.0 8462.8 38 1.640 3 0.431 2.071 10240.0 10240.0 2416.0 0.0 154112.0 123601.6 349696.0 60088.4 81112.0 75681.7 9432.0 8462.8 38 1.640 3 0.431 2.071 10240.0 10240.0 2416.0 0.0 154112.0 123601.6 349696.0 60088.4 81112.0 75681.7 9432.0 8462.8 38 1.640 3 0.431 2.071 10240.0 10240.0 2416.0 0.0 154112.0 123893.9 349696.0 60088.4 81112.0 75681.7 9432.0 8462.8 38 1.640 3 0.431 2.071 10240.0 10240.0 2416.0 0.0 154112.0 123893.9 349696.0 60088.4 81112.0 75681.7 9432.0 8462.8 38 1.640 3 0.431 2.071 10240.0 10240.0 2416.0 0.0 154112.0 123893.9 349696.0 60088.4 81112.0 75681.7 9432.0 8462.8 38 1.640 3 0.431 2.071 10240.0 10240.0 2416.0 0.0 154112.0 123893.9 349696.0 60088.4 81112.0 75681.7 9432.0 8462.8 38 1.640 3 0.431 2.071 10240.0 10240.0 2416.0 0.0 154112.0 123893.9 349696.0 60088.4 81112.0 75681.7 9432.0 8462.8 38 1.640 3 0.431 2.071 10240.0 10240.0 2416.0 0.0 154112.0 123893.9 349696.0 60088.4 81112.0 75681.7 9432.0 8462.8 38 1.640 3 0.431 2.071 10240.0 10240.0 2416.0 0.0 154112.0 123893.9 349696.0 60088.4 81112.0 75681.7 9432.0 8462.8 38 1.640 3 0.431 2.071
说明：
| 列代码 | 列名 | KB | MB | 备注 |
|---|---|---|---|---|
| S0C | 幸存者空间0容量 | 10240.0 | 10 | |
| S1C | 幸存者空间1容量 | 10240.0 | 10 | |
| S0U | 幸存者空间1利用率 | 2416.0 | 2.35 | |
| S1U | 幸存者空间1利用率 | 0.0 | 0.0 | |
| EC | Eden（伊甸园）空间容量 | 154112.0 | 150.5 | |
| EU | Eden（伊甸园）空间利用率 | 123601.0 | 120.70 | |
| OC | 老年代空间容量 | 349696.0 | 341.5 | |
| OU | 老年代空间利用率 | 60088.0 | 58.67 | |
| MC | 元空间容量 | 81112.0 | 79.21 | |
| MU | 元空间利用率 | 75681.7 | 73.90 | |
| CCSC | 压缩类空间容量 | 9432.0 | 9.21 | Compressed class space capacity，对应参数-XX:CompressedClassSpaceSize |
| CCSU | 压缩类空间利用率 | 8462.0 | 8.26 | |
| YGC | 新生代GC事件次数 | 38 | ||
| YGCT | 新生代GC事件时间 | 1.640 | ||
| FGC | Full GC事件次数 | 3 | ||
| FGCT | Full GC事件时间 | 0.431 | ||
| GCT | 总GC时间 | 2.071 |
1.5 通过jstat -gcutil统计java进程的垃圾收集统计信息
不限制采集次数，采集过程中尽量模拟一般情况下的系统调用情况，直到触发gc事件。
触发一次新生代GC事件Minor GC（观察YGC数量+1）
root@21e4300860c8:/# jstat -gcutil -h 20 1 250 S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 0.00 8.68 98.93 16.94 92.54 89.70 49 1.761 4 0.908 2.669 0.00 8.68 98.96 16.94 92.54 89.70 49 1.761 4 0.908 2.669 0.00 8.68 98.96 16.94 92.54 89.70 49 1.761 4 0.908 2.669 0.00 8.68 98.96 16.94 92.54 89.70 49 1.761 4 0.908 2.669 0.00 8.68 98.96 16.94 92.54 89.70 49 1.761 4 0.908 2.669 6.80 0.00 0.00 16.95 92.52 89.72 50 1.766 4 0.908 2.673 6.80 0.00 0.74 16.95 92.52 89.72 50 1.766 4 0.908 2.673 6.80 0.00 1.27 16.95 92.52 89.72 50 1.766 4 0.908 2.673 6.80 0.00 2.67 16.95 92.52 89.72 50 1.766 4 0.908 2.673 6.80 0.00 2.67 16.95 92.52 89.72 50 1.766 4 0.908 2.673 6.80 0.00 2.67 16.95 92.52 89.72 50 1.766 4 0.908 2.673 6.80 0.00 2.67 16.95 92.52 89.72 50 1.766 4 0.908 2.673
触发一次完整GC事件Full GC，如果空间过大，一般情况下无法人为触发，需要通过时间等待（项目启动时间除以FGC可知多长时间触发一次Full GC），一般是1小时触发一次Full GC。
或许也可以让survivor空间利用率接近100%触发Full GC。
root@21e4300860c8:/# jstat -gcutil -h 20 1 250 S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 0.00 99.67 53.34 19.88 93.38 90.50 45 1.680 3 0.627 2.308 0.00 99.67 55.03 19.88 93.38 90.50 45 1.680 3 0.627 2.308 0.00 99.67 55.03 19.88 93.38 90.50 45 1.680 3 0.627 2.308 0.00 99.67 55.03 19.88 93.38 90.50 45 1.680 3 0.627 2.308 0.00 99.67 56.72 19.88 93.38 90.50 45 1.680 3 0.627 2.308 0.00 99.67 56.72 19.88 93.38 90.50 45 1.680 3 0.627 2.308 28.13 0.00 0.00 21.17 93.02 90.13 46 1.729 4 0.627 2.356 0.00 0.00 0.00 16.94 92.41 89.38 46 1.729 4 0.908 2.637 0.00 0.00 0.84 16.94 92.41 89.38 46 1.729 4 0.908 2.637 0.00 0.00 0.84 16.94 92.41 89.38 46 1.729 4 0.908 2.637 0.00 0.00 0.84 16.94 92.41 89.38 46 1.729 4 0.908 2.637 0.00 0.00 0.90 16.94 92.41 89.38 46 1.729 4 0.908 2.637 0.00 0.00 0.92 16.94 92.41 89.38 46 1.729 4 0.908 2.637 0.00 0.00 0.92 16.94 92.41 89.38 46 1.729 4 0.908 2.637
1.6 查看元空间情况
# 查看java实例的某个参数 # 查看MetaspaceSize的值，默认是-XX:MetaspaceSize=21807104（20.79 MB） jinfo -flag MetaspaceSize <jvmid> # 查看MaxMetaspaceSize的值，默认是-XX:MaxMetaspaceSize=18446744073709547520（数值超过宿主机最大内存，视为无限或与宿主机一致） jinfo -flag MaxMetaspaceSize <jvmid>
1.7 查看docker容器状态
# 在docker容器外部（宿主机）终端 docker stats # 查看某个docker容器的状态 docker stats <container_name | id>
命令结果如下：
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS 38b70395877a knx-organization-service 0.49% 426.4MiB / 3.682GiB 11.31% 4.88MB / 4.35MB 47.6MB / 0B 57 7f9fbd4518a4 user-account-service 0.38% 479.4MiB / 3.682GiB 12.71% 1.84MB / 2.67MB 72.1MB / 0B 48
说明：
| 列名 | 描述 |
|---|---|
| CONTAINER ID and Name | 容器的ID和名称 |
| CPU % and MEM % | 容器正在使用的主机CPU和内存的百分比 |
| MEM USAGE / LIMIT | 容器正在使用的总内存以及允许使用的总内存量 |
| NET I/O | 容器通过其网络接口发送和接收的数据量 |
| BLOCK I/O | 容器已从主机上的块设备读取和写入的数据量 |
| PIDs | 容器创建的进程或线程数 |
I/O设备大致分为两类：块设备和字符设备。块设备将信息存储在固定大小的块中，每个块都有自己的地址。
数据块的大小通常在512字节到32768字节之间。块设备的基本特征是每个块都能独立于其它块而读写。磁盘是最常见的块设备
基于结果第一条可知：
- docker容器的内存最大限制是
3.682GiB，实际上就是宿主机的整个内存，相当于无限制。 - docker容器已使用的内存大小是
426.4MiB，与11.31% * 3.682GiB一致，实际上就是容器内java进程的实际内存使用大小（很接近），说明docker容器除了服务外没有多少额外内存消耗。 - docker容器内的进程或线程数为57，进程只有一个java服务，所以可以视为java服务的线程数量。
1.8 计算性能参数
已知当前老年代空间容量为341.5 MB，再根据新生代GC和Full GC两种事件过程采集的结果可以计算出：
- 老年代空间利用率：16.94% ~ 21.17%
- 老年代空间利用大小区间：57.8501 MB ~ 72.29555 MB
- 默认老年代占堆内存的2/3，可以计算出适合的最小堆大小：72.29555/0.66=109.53871 MB
- 将最小堆大小往上推一个最接近的1024整除数：1024/8=128 MB
- 非堆内存不会被垃圾收集，可以视为永久代，当前使用了多少，基本上就只需要多少，根据
CCSC往上推算最接近的1024整除数：1024/64=16 MB - 当前线程为57个，考虑到当前实例是开发环境，并发率很低，算作最大线程为100个
2. 修改JVM参数-Xmx、-Xms、-XX:MetaspaceSize、-XX:MaxMetaspaceSize
Java8开始已经移除了永久代空间（PermGen或permanent generation）即-XX:PermSize、-XX:MaxPermSize两个参数是无效的。
取而代之的是元空间（metaspace）：
-XX:MetaspaceSize：最小元空间大小：并非初始化元空间大小，元空间一开始是0，并且不断扩增，直到MetaspaceSize，都不会触发Full GC，而一旦扩增超过MetaspaceSize后，每次扩增都会触发Full GC-XX:MaxMetaspaceSize：最大元空间大小：扩增的上限，默认是无限，设置一个值，避免一个服务因错误地不断加载类而占用整个服务器的内存，从而影响其他服务的运行。
修改项目镜像的Dockerfile中java命令的JVM参数
java \ -Xmx128m \ -Xms128m \ -XX:MetaspaceSize=128m \ -XX:MaxMetaspaceSize=256m \ ......
并且重新构建镜像并运行。
3. 预估Docker容器的内存限制
Max memory = [-Xmx] + [-XX:MaxMetaspaceSize] + number_of_threads * [-Xss]
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章
Dashdot是一款简单、实用的开源服务器仪表盘，设计时考虑到了玻璃形态，它旨在用于较小的 VPS 和私人服务器，这篇文章主要介绍了使用Docker部署Dashdot服务器仪表盘,需要的朋友可以参考下2022-12-12
这篇文章主要介绍了在windows下的安装Docker的教程,注意只能是64的系统，需要的朋友可以参考下2015-12-12
本文主要讲解Docker环境的安装以及Docker常用命令的使用，掌握这些对Docker环境下应用的部署具有很大帮助，感兴趣的可以了解一下2021-12-12
这篇文章主要介绍了Docker之cAdvisor的安装使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-11-11
本文主要介绍了使用docker部署java项目运行环境的实现步骤，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-01-01
LibreSpeed 是一个轻量级的网络速度测试工具,本文主要介绍了Docker搭建LibreSpeed的实现步骤,具有一定的参考价值,感兴趣的可以了解一下2024-04-04
这篇文章主要介绍了解决docker挂载的目录无法读写问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
这篇文章主要为大家详细介绍了Docker在拉取镜像时超时的相关原因分析与解决方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2025-04-04
在使用 Docker 管理和部署应用程序时,了解容器的 IP 地址是非常重要的,每个 Docker 容器都有其自己的 IP 地址,本文将介绍几种常用的方法,帮助您轻松查找 Docker 容器的 IP 地址,需要的朋友可以参考下2024-07-07
通过link方式创建容器，然后我们可以使用被link容器的别名进行访问。本文重点给大家介绍Docker link实现容器互联的方式，感兴趣的朋友一起看看吧2021-12-12
最新评论