AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题 / 685992
Accepted
Abdelhakim AKODADI
Abdelhakim AKODADI
Asked: 2022-01-12 18:27:38 +0800 CST2022-01-12 18:27:38 +0800 CST 2022-01-12 18:27:38 +0800 CST

使用 make -j`nproc` 导致页面错误数量激增

  • 772

我正在运行一个基准来确定我应该允许 GNU Make 使用的作业数量,以便获得最佳编译时间。为此,我使用 N 编译 Glibc,make -j<N>其中 N 是 1 到 17 的整数。到目前为止,我每次选择 N 都做了 35 次(总共 35*17=595 次)。我还使用GNU Time运行它来确定 Make 花费的时间和使用的资源。

当我分析结果数据时,我注意到一些奇怪的东西。当我达到-j8.

主要页面错误的平均数

我还应该注意,8 是我计算机上的 CPU 内核数(或者更具体的超线程数)。

在自愿上下文切换的数量上,我也可以注意到同样的事情,但不那么明显。

自愿上下文切换的平均次数

为了确保我的数据没有偏差或其他任何问题,我又运行了两次测试,但仍然得到相同的结果。

我正在使用 linux 内核 5.15.12 运行 artix linux。

这些尖峰背后的原因是什么?

编辑:我在 4 核 PC 上再次做了同样的实验。我可以观察到同样的现象,这次是 4 个工作岗位。

4 核 CPU 上的平均主要页面错误数

此外,请注意 2 个作业标记中主要页面错误的跳跃。

4 核 CPU 上的平均自愿上下文切换次数

编辑2:

@FrédéricLoyer 建议将页面错误与效率(经过时间的倒数)进行比较。这是一个确切的箱线图:

以 1/秒为单位的反向经过实时(挂钟)的箱线图

我们可以看到,随着我们从 1 个工作变为 4 个工作,效率越来越高。但对于更多的工作,它基本保持不变。

我还应该提到我的系统有足够的内存,所以即使有最大数量的作业,我也不会用完内存。我还记录了 PRSS(峰值驻留集大小),这是它的箱线图。

以 KB 为单位的峰值驻留集大小的箱线图

我们可以看到作业的数量根本不会影响内存使用。

EDIT3:正如 MC68020 所建议的,这里分别是 4 核和 8 核系统的 TLBS(事务后备缓冲区击穿)值图:

事务后备缓冲区击落 - 4 核

事务后备缓冲区击落 - 8 个内核

linux scheduling
  • 2 2 个回答
  • 152 Views

2 个回答

  • Voted
  1. Frédéric Loyer
    2022-01-15T13:16:41+08:002022-01-15T13:16:41+08:00

    当make启动一个进程时,进程的内存被映射到它的文件(可执行文件,库)。然后预计会看到页面错误。系统效率越高,我们可以预期的页面错误就越多。将页面错误率与效率(与所花费的时间成反比)进行比较可能会很有趣make。

    当系统没有足够的 RAM 并与 HDD 交换数据时,我们也可能会出现页面错误。这不是效率的标志。

    • 1
  2. Best Answer
    MC68020
    2022-01-18T08:02:47+08:002022-01-18T08:02:47+08:00

    因为您显示全局效率的图表为您的任务提供了正确的答案,所以我将尝试专注于解释。

    A/效率\工作安排

    理论上,(假设在 make 启动时所有 CPU 都处于空闲状态,并且在启动第 n 个 > i 时没有其他任务正在运行,并且没有 i 作业已经完成),我们可能期望 CFS 分配 1、2、3、4、5, 6,7,8 个作业到 CPU 0,2,4,6(因为缓存共享没有好处)然后 1,3,5,7(缓存共享仍然没有好处但是因为缓存在兄弟姐妹之间共享,增加锁争论因此对全球效率产生负面影响)这是否足以解释从工作 5 开始全球效率缺乏改进?

    B/页面错误

    正如 Frédéric Loyer 所解释的,在作业启动时预计会出现重大页面错误(由于必要的读取系统调用)。您的图表显示,从 5 个职位增加到 8 个职位几乎是恒定的。在我看来,4+4 内核上 -j4 的显着增加(由 2+2 内核上的 -j2 显着增加证实)看起来更有趣。这可能是由于任何其他任务引起的某些 <=4 cpu 的突然活动而在 > 4 cpu 上重新安排一个作业线程的见证吗?-j(n>8) 的恒定页面错误数量可以通过所有可以选择的 cpu 已经具有适当映射的事实来解释。


    顺便说一句:只是为了证明我对杂项的要求。OPs 评论中的缓解信息,我想首先确保您的所有核心都可以完全运行。他们似乎是。

    • 1

相关问题

  • 有没有办法让 ls 只显示某些目录的隐藏文件?

  • 使用键盘快捷键启动/停止 systemd 服务 [关闭]

  • 需要一些系统调用

  • astyle 不会更改源文件格式

  • 通过标签将根文件系统传递给linux内核

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve