我们有一个运行在 OpenJDK 服务器虚拟机(20.0-b11 混合模式)上的 Tomcat 7.0.21 服务器。Web 应用程序通常在启动后的几个小时或几天内运行良好 - 典型的 CPU 负载为 1-2%。
在某个时候,tomcat 进程开始消耗 100% 的 CPU。稍后它会消耗 200%,然后是 300% 等等(有 4 个处理器)。
我运行了这个命令来确定是哪些线程导致了问题:
ps H -eo user,pid,ppid,tid,time,%cpu,cmd --sort=%cpu
...然后从 JVM 获取线程转储
kill -QUIT <processId>
可以预见,CPU 使用率为 200%,有 2 个有问题的线程。它们的堆栈跟踪是相同的:
"http-bio-80-exec-19" daemon prio=10 tid=0x08dcfc00 nid=0x192e runnable [0x442fe000]
java.lang.Thread.State: RUNNABLE
at org.apache.jasper.runtime.JspWriterImpl.write(JspWriterImpl.java:339)
at org.apache.jasper.runtime.JspWriterImpl.write(JspWriterImpl.java:353)
at org.apache.jsp.returnBubble_jsp._jspService(returnBubble_jsp.java:343)
at org.apache.jasper.runtime.HttpJspBase.service(HttpJspBase.java:70)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:722)
at org.apache.jasper.servlet.JspServletWrapper.service(JspServletWrapper.java:433)
at org.apache.jasper.servlet.JspServlet.serviceJspFile(JspServlet.java:389)
at org.apache.jasper.servlet.JspServlet.service(JspServlet.java:333)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:722)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:304)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210)
at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:224)
at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:185)
at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:472)
at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:151)
at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:100)
at org.apache.catalina.valves.AccessLogValve.invoke(AccessLogValve.java:929)
at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:118)
at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:405)
at org.apache.coyote.http11.Http11Processor.process(Http11Processor.java:269)
at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:515)
at org.apache.tomcat.util.net.JIoEndpoint$SocketProcessor.run(JIoEndpoint.java:300)
- locked <0x6f39c2b0> (a org.apache.tomcat.util.net.SocketWrapper)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
at java.lang.Thread.run(Thread.java:679)
它引用的 jsp 文件 ( returnBubble_jsp.java:343
) 并没有真正做任何特别的事情——每个用户都经常调用它。如果我们查看生成的 java 的第 343 行:
out.write("</td></tr>\n");
所以我相当有信心不是我的 JSP 造成的!请注意,行号在其他有问题的线程中确实发生了变化,但它始终是一种类似的out.write
方法。
这个线程在做什么?我该如何防止它发生?
尝试禁用 feedFetcher 任务,因为它看起来是另一个可能导致活锁问题的线程;
非常感谢@Christopher Schultz - 你的评论让我更仔细地浏览了 jsp,你是对的。当你找到它时很简单。为了兴趣,我有这个:
“等于”应该是“负”。可能会教我在我的 IDE 中使用更大的字体!