AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题 / 697177
Accepted
user520136
user520136
Asked: 2022-03-29 17:36:46 +0800 CST2022-03-29 17:36:46 +0800 CST 2022-03-29 17:36:46 +0800 CST

Linux 时间包装器的结果告诉我这个 cp 命令发生了什么?

  • 772

我对这个问题的看法来自开发者方面。我编写的代码放置在作为企业系统中众多虚拟机之一运行的 RHEL 虚拟机上。正在使用的文件系统是一个远程的、网络连接的存储设备。

在批处理过程中,我们对简单命令有一些高度可变性。所以我们设置了一个测试来获取更多信息,但现在我不知道我们发现了什么。

我们每 30 分钟运行一次以下命令并记录输出。它是一个 6 GB 文件的副本。我看到的是当系统忙于运行大量作业并且此测试命令获得低 CPU 时间时,经过的时间从 11 秒跃升至 190 秒。

我可以看到的是,当 CPU 较低时,“I”列(文件系统输入)会被填充,但在 CPU 较高时则不会。“w”列(非自愿掉期)也高得多。

我的问题是,当 CPU 时间下降时,这个作业/命令发生了什么迫使它运行这么长时间?换入/换出是否将所有数据存储在其他速度慢得多的设备上?通常,在换入/换出期间会发生什么?

正在运行的命令:

/usr/bin/time -a -o filename.txt cp file.txt fileCopy.txt
日期 时间 e 小号 ü 磷 C w 我 ○
2022 年 3 月 14 日 5:19:02 64.9 16.23 1.03 26% 3005 29210 12000016 1200万
2022 年 3 月 14 日 5:49:02 12.7 11.63 0.79 97% 2069 76 0 1200万
2022 年 3 月 14 日 6:19:02 100.39 14.74 0.78 15% 1034 29925 12000136 1200万
2022 年 3 月 14 日 6:49:24 191.32 18.86 0.94 10% 3374 36164 12001024 1200万
2022 年 3 月 14 日 7:19:02 71.61 15.61 0.88 23% 1610 30316 12000296 1200万
2022 年 3 月 14 日 7:49:02 70.73 17.5 0.91 26% 1408 29540 12000072 1200万
2022 年 3 月 14 日 8:19:02 10.95 9.89 0.7 96% 1709 75 0 1200万
2022 年 3 月 14 日 8:49:02 11.01 10.22 0.73 99% 239 85 0 1200万

/usr/bin/time 手册页中的列描述

e   Elapsed real time (in seconds).
S   Total number of CPU-seconds that the process spent in kernel mode.
U   Total number of CPU-seconds that the process spent in user mode.
P   Percentage of the CPU that this job got, computed as (%U + %S) / %E.
c   Number of times the process was context-switched involuntarily (because the time slice expired).
w   Number of waits: times that the program was context-switched voluntarily, for instance while waiting for an I/O operation to complete.
I   Number of filesystem inputs by the process.
O   Number of filesystem outputs by the process.
rhel performance
  • 1 1 个回答
  • 32 Views

1 个回答

  • Voted
  1. Best Answer
    John
    2022-03-29T19:15:52+08:002022-03-29T19:15:52+08:00

    这个答案可能不是特定于您的示例,但它是对该问题的更一般的答案Generally, what happens during a swap in/out?请注意,其中一些将是概括性的,为了避免写一篇关于内存管理的博士论文,我会掩盖很多东西.

    简短的回答是,一切都与内存管理有关。在容器内部和容器外部。我们先来看一个非常简单的案例——从磁盘读取一些东西。首先,系统将查看您正在读取数据的变量,并向内核请求那么多的内存空间。由于我们处于一个新启动的系统中,内核很容易分配内存,将其交给进程,然后您将值从磁盘复制到内存。简单,轻松,快速。

    所以让我们增加一些复杂性。随着系统启动越来越多的作业,CPU 变得更忙(显然!)。虽然这与内存管理没有直接关系,但它确实与哪些进程获得 CPU 时间片有关。最容易理解的调度程序是循环调度程序——内核遍历它的进程列表,请求 CPU 周期,并按照它们在列表中出现的顺序为每个进程提供相同数量的周期。这通常是他们将自己添加到列表中的顺序。然后添加进程优先级的概念,这意味着某些特殊进程比其他进程更快地到达列表顶部。一般这类命令的优先级(cp) 将相当低,并且它不会真的太频繁地要求 CPU 时间,因为它的大部分时间将花在等待磁盘响应上。

    顺便说一句,您从网络存储读取数据的事实增加了更多延迟,因为您不仅要求磁盘设备为您提供数据,而且还要求网络接口为您做一些事情。同样,与内存管理讨论没有直接关系,但网络磁盘比本地磁盘慢,因此您在进程中花费更多时间等待 I/O 请求完成。

    现在,让我们看一个已经运行了一段时间的系统。大多数时候,您会看到“空闲”内存值相当低,通常是出乎意料的。这是否意味着 Linux 正在浪费你的内存?一点都不。部分内存消耗是磁盘缓存 - 请参阅Linux At All My RAM!了解这方面的背景。

    高内存使用的另一部分是 Linux 是懒惰的 - 它不做任何它不是绝对必须做的事情。其中之一是将内存页面返回到“空闲”列表。当一个进程完成使用一个内存页面时,内核会将该页面标记为“干净”,但会将其留在“已使用”列表中。这仅仅意味着该页面可供任何其他进程立即重用。请注意,一个页面也可以被标记为“脏”——这意味着使用此内存的进程已完成它并要求将其写回磁盘,但由于没有其他进程需要该特定页面,Linux 正在等待其他人实际上需要它来实际将其刷新到磁盘并将页面标记为可用。这在磁盘缓存中最常见,但也可以在文件写入中看到。

    因此,我们的系统在“空闲”列表中没有任何内容,但在“干净”和“脏”列表中有很多页面。随之而来的是一个新进程,它要求一些内存,然后 Linux 必须在“干净”或“脏”列表上找到足够大的空间块 - 如果它是脏的,它必须强制将该页面刷新到磁盘. 就人类而言,这与从“空闲”列表中分配页面一样瞬间发生,但计算机术语实际上需要更长的时间。

    在您的情况下,虽然容器本身是新的并且容器内的所有内存都是“空闲”的,但运行容器的操作系统可能几乎没有剩余的“空闲”,而是从“干净”和“脏”页面分配列表。当系统繁忙时,脏页的刷新会更频繁地发生,增加 IO 等待时间,增加分配内存的时间等等。

    最重要的是,您的系统运行正常。它应该使不重要的进程cp(如从 增加系统和用户时间片time)花费更长的时间,同时它担心它正在运行的所有其他进程,尤其是它拥有的更高优先级的进程。是的,真的有可能写一篇关于 Linux 内存管理的博士论文——就是这么复杂。

    • 1

相关问题

  • 为什么 Linux 会杀死我的进程?

  • linux redhat 7 ( 或 centos 7 ) + firewalld 屏蔽防火墙

  • systemctl 命令在 RHEL 6 中不起作用

  • 如何在 RHEL 7 上离线安装 docker?

  • 在 Gnome3 中禁用窗口的自动最大化

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve