AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题 / 769710
Accepted
melonfsck
melonfsck
Asked: 2024-02-20 20:16:34 +0800 CST2024-02-20 20:16:34 +0800 CST 2024-02-20 20:16:34 +0800 CST

EXT4 如何处理底层存储空间突然不足的情况?

  • 772

通常,块设备驱动程序会报告设备的正确大小,并且可以实际使用所有“可用”块。因此,文件系统事先知道它可以向此类设备写入多少内容。
但在某些特殊情况下,例如使用dm-thin或dm-vdo设备时,这种说法是错误的。如果这种块设备的ENOSPC底层存储(上层 FS 对此一无所知)已满,那么它们随时可能返回错误。

因此,我的问题是,在这种情况下会发生什么:EXT4 文件系统已挂载r/w,处于async模式(默认),并且正在执行大量写入。磁盘缓存(脏内存)也会参与其中,此时如果用户运行sync命令,就会有大量数据需要写入。

但突然间,该 EXT4 文件系统的底层块设备开始拒绝任何写入,因为“没有剩余空间”。文件系统的行为是什么?
它会打印错误并进入r/o中止所有写入并可能导致数据丢失的模式吗?如果没有,它是否会等待空间,定期重试写入并拒绝新写入?在这种情况下,如果其他进程尝试分配大量 RAM,巨大的磁盘缓存会发生什么情况?(在 Linux 上,脏内存被认为是可用的,不是吗?)。
考虑到最坏的情况,如果磁盘缓存在错误发生时占用了大部分 RAM ENOSPC(因为管理员已设置vm.dirty_ratio太高),内核会崩溃或锁定吗?或者它只会使所有想要分配内存的进程等待/挂起?最后,不同文件系统的行为是否有所不同?
提前致谢。

linux
  • 2 2 个回答
  • 353 Views

2 个回答

  • Voted
  1. Best Answer
    A.B
    2024-02-20T21:39:34+08:002024-02-20T21:39:34+08:00

    当块设备过度使用其可用数据容量(例如使用精简配置时)或由于其他原因而无法接受更多写入(例如快照已满)时,它必须向写入内容发送消息。ENOSPC 在这种情况下没有任何意义,因此选择的错误通常是 EIO(输入/输出错误)。

    更新:实际上 LVM 具有可配置的行为。对于精简配置 LV:

    • --errorwhenfull n(默认):阻塞最多(可配置)60 秒,正如 OP 所考虑的那样,然后出现错误。除非在这 60 秒内执行自动操作,否则结果将与立即错误相同。

      另请注意,如果完全禁用超时:

      禁用超时可能会导致系统资源耗尽、内存耗尽、任务挂起和死锁。(超时适用于系统上的所有精简池。)

    • --errorwhenfull y: 立即返回错误

    如果“用户”是一个文件系统,它会对 I/O 错误作出反应,就像这是由实际介质错误引起的一样,可能取决于安装选项(例如,对于ext4 ,可能的选项是errors={continue|remount-ro|panic})。当选择非恐慌选项之一时,我无法确定缓存中的脏数据会发生什么情况。人们可以想象它要么留在缓存中,要么会丢失,但人们应该假设它无论如何都会丢失。

    由于这是一个严重的结果,因此应主动监视此类磁盘空间,一旦达到阈值,就应该释放数据或添加更多实际空间,以便过度使用的空间永远不会变满。快照也是如此,尤其是非精简配置快照,随着时间的推移会使用更多空间:不再需要时应将其删除。甚至可以选择自动增加精简配置空间以应对紧急情况(当为精简配置层提供空间的层仍然可以提供更多空间时)。

    进一步参考:

    • 自动扩展精简池LV
    • 管理 VDO 卷上的可用空间
    • 5
  2. Austin Hemmelgarn
    2024-02-21T06:10:17+08:002024-02-21T06:10:17+08:00

    它取决于文件系统(以及可能的安装选项)和底层存储。

    在大多数情况下,由于空间过度使用而导致无法写入块设备,将立即作为 IO 错误传播到文件系统驱动程序。LVM 有一个选项可以延迟此操作(主要是为了让自动扩展功能有时间启动),但默认情况下它是禁用的。QEMU 有一个选项通过稀疏磁盘映像控制此行为,但默认情况下它会将错误传播到来宾操作系统(也可以将其配置为忽略错误或暂停虚拟机)。大多数其他东西只会立即将错误抛出给文件系统驱动程序。

    从那里开始,发生的情况取决于文件系统。在几乎所有情况下,错误都会传播到用户空间,尽管它几乎总是 EIO 而不是 ENOSPC(ENOSPC 意味着文件系统空间不足,但从技术上来说这并不是这里的问题,并且文件系统通常也无法确定是什么导致了它从下层得到的 IO 错误,所以它通常无法判断这是由于下层空间不足造成的)。默认情况下,ext4 除此以外不会执行任何操作,但根据挂载选项(以及由 设定的内容tune2fs),它可能会以只读方式重新挂载,或者可能会触发内核恐慌。BTRFS 将以只读方式重新安装,并且在某些多设备设置中也可能切换到降级模式。我不确定其他文件系统(尽管我希望 XFS 在这种情况下以只读方式重新挂载)。

    • 4

相关问题

  • 有没有办法让 ls 只显示某些目录的隐藏文件?

  • 使用键盘快捷键启动/停止 systemd 服务 [关闭]

  • 需要一些系统调用

  • astyle 不会更改源文件格式

  • 通过标签将根文件系统传递给linux内核

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve