问题描述

最近连续两天大约凌晨3点,线上服务开始异常,出现OOM报错。且服务所在的物理机只能ping通,但是无法登录。报错信息如下:

ERROR 04-12 03:01:43,930 [DefaultQuartzScheduler_Worker-3] JobRunShell[JobRunShell]:211 Job threw an unhandled Exception:
java.lang.OutOfMemoryError: unable to create new native thread
        at java.lang.Thread.start0(Native Method)
        at java.lang.Thread.start(Thread.java:714)
        at java.util.concurrent.ForkJoinPool.createWorker(ForkJoinPool.java:1483)
        ...
        at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:573)

排查过程

根据日志OOM报错,怀疑是内存不足或内存泄露的原因,需要查看内存的使用情况。考虑到JConsoleVisualVM具有可视化界面,能看出历史变化趋势,更直观地排查问题,因此为程序配置了jmx参数。重启应用,使用VisualVM连接应用的jmx端口。应用配置jmx端口的参数如下:

-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false  -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=9998

VisualVM显示使用的内存是正常的,没有持续飙升。但是线程数却比较异常,随时间推移在持续增加。因此考虑看看是什么线程在持续增加,jstack是一个比较好用的工具,它用于生成 JAVA 虚拟机当前时刻的线程快照。

java.lang.OutOfMemoryError- unable to create new native thread 问题排查-LMLPHP

使用jstack -F PID打印出了所有线程,发现有大片下面的堆栈信息。注意到com.xxx.http.IdleConnectionMonitorThread.run() @bci=15, line=22 (Compiled frame)方法出现的特别多。

Thread 7760: (state = BLOCKED)
 - sun.misc.Unsafe.park(boolean, long) @bci=0 (Compiled frame; information may be imprecise)
 - java.util.concurrent.ForkJoinPool.awaitWork(java.util.concurrent.ForkJoinPool$WorkQueue, int) @bci=354, line=1821 (Compiled frame)
 - java.util.concurrent.ForkJoinPool.runWorker(java.util.concurrent.ForkJoinPool$WorkQueue) @bci=44, line=1690 (Compiled frame)
 - java.util.concurrent.ForkJoinWorkerThread.run() @bci=24, line=157 (Compiled frame)


Thread 7759: (state = BLOCKED)
 - java.lang.Object.wait(long) @bci=0 (Compiled frame; information may be imprecise)
 - com.xxx.http.IdleConnectionMonitorThread.run() @bci=15, line=22 (Compiled frame)
 - java.lang.Thread.run() @bci=11, line=745 (Compiled frame)


Thread 7758: (state = BLOCKED)
 - java.lang.Object.wait(long) @bci=0 (Compiled frame; information may be imprecise)
 - com.xxx.http.IdleConnectionMonitorThread.run() @bci=15, line=22 (Compiled frame)
 - java.lang.Thread.run() @bci=11, line=745 (Compiled frame)

在项目搜索类IdleConnectionMonitorThread,并查看22行内容。发现如果不执行shutdown()方法,那么该后台线程会持续地执行wait()方法,导致该线程不退出。实际情况是确实没有执行shutdown()方法,随着每10分钟执行一次计算任务,每次计算任务会执行一批http请求,每个http请求就会创建出一个后台线程,这样会导致线程数越来越多。

java.lang.OutOfMemoryError- unable to create new native thread 问题排查-LMLPHP

联系了sdk的提供方,提供了后台进程的停止方法。在程序请求http完成后,释放请求的资源,停止了后台线程。使用VisualVm观察了一段时间,发现线程数不在增长了,未出现OOM报错。至此问题解决。

java.lang.OutOfMemoryError- unable to create new native thread 问题排查-LMLPHP

虽然问题解决了,不过还有个疑问,线程数达到多少会触发unable to create new native thread报错。查阅博客了解到,一个进程最多能创建多少线程是受多因素影响的,基本上是系统支持的最大PID、用户可创建最大线程数、系统支持的最大线程数的最小值。通过查看服务器配置,系统支持的最大PID的值是最小的:32768,也就是说一个进程最多创建大约3w个线程。由于服务器上部署了线上服务,不方便在复现验证创建多少个线程时出现OOM报错。

系统支持的最大进程数
cat /proc/sys/kernel/pid_max
32768

系统支持的最大线程数
cat /proc/sys/kernel/threads-max
513024

进程可用最大虚拟内存
ulimit -v
unlimited

最大栈大小
ulimit -s
8192

每个用户可创建最大进程数
ulimit -u
256512

总结

1.JConsoleVisualVM具有可视化界面,可以方便地查看CPU占用、内存使用、类数量、线程数的历史变化趋势。

2.jstack命令可以查看正在运行的程序当前时刻的所有线程信息。

3.一个进程最多能创建多少线程,是受多因素影响的,基本上是系统支持的最大PID、用户可创建最大线程数、系统支持的最大线程数的最小值。

参考资料

04-13 22:46