主页 / unix / 问题 / 780573
Accepted
loco.loop
Asked: 2024-07-22 13:24:06 +0800 CST

当需要空间时，稀疏文件的空洞会发生什么情况？

  • 772

场景

假设在 2 GB 的文件系统中有一个 1GB 的稀疏文件，并且该稀疏文件仅占用 0.1 GB 的空间。

问题

我猜你会有 1.9 GB 的磁盘空间来存储数据，对吗？

如果磁盘中实际上有 1.9 GB 的可用空间，那么如果我将 1.5 GB 存储在稀疏文件之外，只剩下 0.4 GB 的可用空间（稀疏文件之外的 1.5 GB + 稀疏文件的 0.1 GB）会怎么样？这是否意味着即使我看到稀疏文件为 1GB，我也只能在其中存储总共 0.5 GB（正在使用的 0.1 GB + 可用的 0.4 GB）？

在这种情况下操作系统会做什么？

思考

如果上述情况属实，那么使用稀疏文件听起来不错，因为它可以节省空间，但是假设我将此文件用作存储点（循环设备），并且我想依靠该空间，我想使用稀疏文件不是一个好主意，因为如果我需要整个 1 GB，我将无法使用它。我最好使用非稀疏文件。

filesystems

2 个回答

  1. Best Answer

    这是否意味着即使我看到稀疏文件为 1GB，我也只能在其中存储总共 0.5 GB（正在使用的 0.1 GB + 可用的 0.4 GB）？

    是的。

    在这种情况下操作系统会做什么？

    如果您尝试使用超过可用空间，它会报告没有剩余空间：

    % dd if=/dev/zero of=100MB.bin bs=1024 count=102400 # 100 MB image to work on
102400+0 records in
102400+0 records out
104857600 bytes (105 MB, 100 MiB) copied, 4.9645 s, 21.1 MB/s
% ls -sh 100MB.bin
101M 100MB.bin
% mkfs -t ext4 -q 100MB.bin
% mkdir 100MB
% sudo mount 100MB.bin 100MB
% sudo chown $USER 100MB -R

% truncate -s 1TB 100MB/foo  # A 1 TB sparse file
% dd if=/dev/zero of=100MB/bar bs=1024 count=51200 # But something else is using 50 MB
51200+0 records in
51200+0 records out
52428800 bytes (52 MB, 50 MiB) copied, 2.01964 s, 26.0 MB/s
% dd if=/dev/zero of=100MB/foo bs=1024 skip=102400 count=102400 conv=notrunc
dd: error writing '100MB/foo': No space left on device
31931+0 records in
31930+0 records out
32696320 bytes (33 MB, 31 MiB) copied, 1.64666 s, 19.9 MB/s
% du -h --apparent-size 100MB/foo; du -h 100MB/foo
932G    100MB/foo
32M 100MB/foo

    如果上述情况属实，那么使用稀疏文件听起来不错，因为它可以节省空间，但是假设我将此文件用作存储点（循环设备），并且我想依靠该空间，我想使用稀疏文件不是一个好主意，因为如果我需要整个 1 GB，我将无法使用它。我最好使用非稀疏文件。

    您必须对此进行风险评估并自行决定。这是一种权衡。如果您想绝对确定自己有足够的空间，那么您必须提前预留空间，而不是使用稀疏文件。

    • 13

  2. 我喜欢 @muru 的回答。玩了一会儿，我发现了一些有趣的发现，但太长了，无法发表评论。以下是我的看法。

    使用 size 和 mkfs 进行测试

    mkfs 创建稀疏文件

    显然，mkfs 默认将 100MB.bin 文件设为稀疏文件

    $ dd if=/dev/zero of=100MB.bin bs=1024 count=102400
102400+0 records in
102400+0 records out
104857600 bytes (105 MB, 100 MiB) copied, 1.54324 s, 67.9 MB/s

$ ls -sh 100MB.bin
100M 100MB.bin

$ mkfs -t ext4 100MB.bin
mke2fs 1.44.5 (15-Dec-2018)
Discarding device blocks: done
Creating filesystem with 102400 1k blocks and 25688 inodes
Filesystem UUID: cb3c57f4-0119-47da-b39e-4fbbff119a8e
Superblock backups stored on blocks:
    8193, 24577, 40961, 57345, 73729

Allocating group tables: done
Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done

$ ls -sh 100MB.bin
320K 100MB.bin

$ du -h 100MB.bin
320K    100MB.bin

$ du --apparent-size -h 100MB.bin
100M    100MB.bin

$ rm 100MB.bin

    使用 nodiscard 的 mkfs

    但显然使用 nodiscard 不会将文件转换为稀疏文件。但它仍然减少了 100MB.bin 的大小。

    $ mkfs -t ext4 -E nodiscard 100MB.bin
mke2fs 1.44.5 (15-Dec-2018)
Creating filesystem with 102400 1k blocks and 25688 inodes
Filesystem UUID: dab15e3b-43fa-4242-9611-539ad6838f50
Superblock backups stored on blocks:
    8193, 24577, 40961, 57345, 73729

Allocating group tables: done
Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done

$ du --apparent-size -h 100MB.bin
100M    100MB.bin

$ du -h 100MB.bin # But the disk usage is still less tham 100MB, weird?
96M 100MB.bin

$ rm 100MB.bin

    包含额外信息的整个示例

    与 @muku 的答案相同的例子，但一路检查大小。还使用 fallocate 来打孔，使我们所做的更加稀疏。

    $ dd if=/dev/zero of=100MB.bin bs=1024 count=102400
102400+0 records in
102400+0 records out
104857600 bytes (105 MB, 100 MiB) copied, 1.67925 s, 62.4 MB/s

$ ls -sh 100MB.bin
100M 100MB.bin

$ mkfs -t ext4 100MB.bin
mke2fs 1.44.5 (15-Dec-2018)
Discarding device blocks: done
Creating filesystem with 102400 1k blocks and 25688 inodes
Filesystem UUID: f185f88f-20ef-4d28-b203-f3e6272c732b
Superblock backups stored on blocks:
    8193, 24577, 40961, 57345, 73729

Allocating group tables: done
Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done

$ ls -sh 100MB.bin
320K 100MB.bin

$ du --apparent-size -h 100MB.bin
100M    100MB.bin

$ mkdir 100MB.mount

$ sudo mount 100MB.bin 100MB.mount

$ sudo chown -R $USER 100MB.mount

$ du -h 100MB.bin
324K    100MB.bin

$ # Using 1T instead of 1TB
$ # T=power of 1024, TB=power of 1000
$ truncate -s 1T 100MB.mount/1T_sparse

$ ls -sh 100MB.bin
336K 100MB.bin

$ dd if=/dev/zero of=100MB.mount/50M_nosparse bs=1024 count=51200
51200+0 records in
51200+0 records out
52428800 bytes (52 MB, 50 MiB) copied, 0.919962 s, 57.0 MB/s

$ du -h --apparent-size 100MB.mount/1T_sparse; du -h 100MB.mount/1T_sparse; du -h --apparent-size 100MB.mount/50M_nosparse; du -h 100MB.mount/50M_nosparse
1.0T    100MB.mount/1T_sparse
0   100MB.mount/1T_sparse
50M 100MB.mount/50M_nosparse
51M 100MB.mount/50M_nosparse

$ dd if=/dev/zero of=100MB.mount/1T_sparse bs=1024 skip=102400 count=102400 conv=notrunc
dd: error writing '100MB.mount/1T_sparse': No space left on device
35135+0 records in
35134+0 records out
35977216 bytes (36 MB, 34 MiB) copied, 0.550553 s, 65.3 MB/s

$ du -h --apparent-size 100MB.mount/foo; du -h 100MB.mount/foo
932G    100MB.mount/foo
35M 100MB.mount/foo

$ du -h 100MB.bin; du -h --apparent-size 100MB.bin
85M 100MB.bin
100M    100MB.bin

$ # Using fallocate to "punch holes"
$ # where there were a bunch of zeros
$ fallocate -d 100MB.mount/1T_sparse
$ fallocate -d 100MB.mount/50M_nosparse

$ du -h --apparent-size 100MB.mount/1T_sparse; du -h 100MB.mount/1T_sparse; du -h --apparent-size 100MB.mount/50M_nosparse; du -h 100MB.mount/50M_nosparse
1.0T    100MB.mount/1T_sparse
0   100MB.mount/1T_sparse
50M 100MB.mount/50M_nosparse
0   100MB.mount/50M_nosparse

$ du -h 100MB.bin
85M 100MB.bin

$ sudo umount 100MB.mount

$ fallocate -d 100MB.bin

$ du -h 100MB.bin
4.0M    100MB.bin
    • 2

相关问题