AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / ubuntu / 问题 / 1126659
Accepted
Kickaha
Kickaha
Asked: 2019-03-19 07:56:15 +0800 CST2019-03-19 07:56:15 +0800 CST 2019-03-19 07:56:15 +0800 CST

如何使用数字取证诊断导致灾难性故障的过程

  • 772

Ubuntu 18.04 lsb,我正在尝试找出诊断 Amazon Ec2 实例(免费套餐)挂起时发生的情况的最佳方法。

有实验服务正在运行,可能存在/是内存泄漏。

为了提高生活质量,我使用了一个名为lnav的实用程序来帮助我浏览系统日志。我还安装了一个名为monitorix的实用程序来可视化正在发生的事情。

我可以/如何从系统日志中识别导致问题的特定过程吗?哪个日志可以帮助我?(/var/log/syslog 没有帮助)

这些图表显示了与系统交换空间相关的高 CPU 负载,直到发生灾难性故障。

高 CPU 负载

掉期消费

但这并没有告诉我具体的过程。我怎样才能通过终端做到这一点?

我可以配置其他一些过程监控吗?

任何帮助appriciated...

编辑:感谢@Rinzwind 的提示,sar现在已安装并且 cron 每 2 分钟运行一次......但它没有提供进程级别信息。因此,在其他答案的帮助下:

pidstat 5 > pidhist.log管道输出到一个文本文件,并在持久会话中运行它将有助于在事件再次发生时进行诊断。

@heynnema 建议iotop

Runningiotop -P -a用于top文件 I/O 作为累加器。它表明实验过程(单声道服务)是使用 SWAPIN ****消耗最多交换的过程在此处输入图像描述
在此处输入图像描述

在中更明显top 在此处输入图像描述 在此处输入图像描述

我们看到可以看到相同的消耗模式,然后在重新启动进程后从 monitorix 恢复正常 ~20%。

在此处输入图像描述

在这些随机事件之间,系统连续数周保持稳定。证据iotop证明根本问题在实验过程中!

然而,这仍然是一个运行时诊断。有没有办法从现有日志中确定事后哪个进程出错了?在没有抢先监控和日志记录的情况下做到这一点。

证明出了什么问题是需要解决的关键问题。如果没有启用日志记录,我们如何在不等待它再次发生的情况下做到这一点?内核日志???

谢谢你的帮助。

server log kernel logs
  • 2 2 个回答
  • 335 Views

2 个回答

  • Voted
  1. heynnema
    2019-03-20T07:03:17+08:002019-03-20T07:03:17+08:00

    从评论...

    我们查看了free -handsysctl vm.swappiness和cat /etc/fstab,的输出,并iotop确定了如果使用这么多,为什么要交换。

    系统抖动的原因有几个。

    1. 你没有足够的内存

    2. 你没有足够的交换

    3. vm.swappiness 修改不正确

    修复...

    1. 添加更多内存

    2. 增加 /swapfile 空间

    3. 将 vm.swappiness 设置为 60-90(默认为 60)

    • 1
  2. Best Answer
    Kickaha
    2019-03-21T06:47:42+08:002019-03-21T06:47:42+08:00

    我们不添加 RAM 来解决此问题。

    识别导致内存泄漏的进程与系统配置无关。

    iotop -P -a帮助识别在事件再次发生期间消耗交换的进程。

    数字取证日志调查的步骤将是一个更好的解决方案。

    • 0

相关问题

  • 使用 apt-get upgrade 时如何强制安装内核更新?

  • 如何从命令行刻录双层 dvd iso

  • 如果在服务器机器上运行 Ubuntu 桌面版,性能损失是多少?

  • 将桌面版剥离为服务器版的最简单方法是什么?

  • 如何与无头服务器进行图形交互?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    如何运行 .sh 脚本?

    • 16 个回答
  • Marko Smith

    如何安装 .tar.gz(或 .tar.bz2)文件?

    • 14 个回答
  • Marko Smith

    如何列出所有已安装的软件包

    • 24 个回答
  • Marko Smith

    无法锁定管理目录 (/var/lib/dpkg/) 是另一个进程在使用它吗?

    • 25 个回答
  • Martin Hope
    Flimm 如何在没有 sudo 的情况下使用 docker? 2014-06-07 00:17:43 +0800 CST
  • Martin Hope
    Ivan 如何列出所有已安装的软件包 2010-12-17 18:08:49 +0800 CST
  • Martin Hope
    La Ode Adam Saputra 无法锁定管理目录 (/var/lib/dpkg/) 是另一个进程在使用它吗? 2010-11-30 18:12:48 +0800 CST
  • Martin Hope
    David Barry 如何从命令行确定目录(文件夹)的总大小? 2010-08-06 10:20:23 +0800 CST
  • Martin Hope
    jfoucher “以下软件包已被保留:”为什么以及如何解决? 2010-08-01 13:59:22 +0800 CST
  • Martin Hope
    David Ashford 如何删除 PPA? 2010-07-30 01:09:42 +0800 CST

热门标签

10.10 10.04 gnome networking server command-line package-management software-recommendation sound xorg

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve