主页 / unix / 问题

问题[ext4](unix)

Martin Hope
plugwash
Asked: 2024-11-01 09:37:38 +0800 CST
  • 8

我很惊讶最近格式化的文件系统竟然会用完 inode。当我将其与使用旧版 Debian 格式化的另一个文件系统（遗憾的是我不知道使用的确切版本）进行比较时，旧版文件系统的 inode 数量是后者的两倍多，尽管大小只有后者的三分之二。

Filesystem        Inodes     IUsed     IFree IUse% Mounted on
/dev/sda1      274661376 274661376         0  100% /18tb
/dev/sdb1      732430336 127388618 605041718   18% /12tb

我不记得手动指定文件系统的 inode 密度，默认值是否发生了变化？是否存在触发不同策略的神奇尺寸边界？

ext4
Martin Hope
gcb
Asked: 2024-10-04 06:28:49 +0800 CST
  • 7

我让系统在每次重启时都对所有文件系统进行 fsck。现在又强制进行了 fsck。但我仍然得到：

$ sudo fsck -vn /dev/lvmroot/root 
fsck from util-linux 2.40.2
e2fsck 1.47.1 (20-May-2024)
Warning!  /dev/mapper/lvm/root is mounted.
Warning: skipping journal recovery because doing a read-only filesystem check.
root has been mounted 1 times without being checked, check forced.
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
Free blocks count wrong (12783960, counted=12783944).
Fix? no

Free inodes count wrong (5263640, counted=5263625).
Fix? no

Feature orphan_present is set but orphan file is clean.
Clear? no
      503528 inodes used (8.73%, out of 5767168)
         271 non-contiguous files (0.1%)
         237 non-contiguous directories (0.0%)
             # of inodes with ind/dind/tind blocks: 0/0/0
             Extent depth histogram: 448994/96
    10284712 blocks used (44.58%, out of 23068672)
           0 bad blocks
           5 large files

      409720 regular files
       37767 directories
           0 character device files
           0 block device files
           0 fifos
        4248 links
       56022 symbolic links (54421 fast symbolic links)
          24 sockets
------------
      507781 files

我是否应该特意去修复它？

ext4
Martin Hope
ChennyStar
Asked: 2024-01-12 13:56:06 +0800 CST
  • 7

我想使用 EXT4格式化 12 TB HDD（不是 SSD） ，以存储大型视频文件（每个文件大小至少为 1 GiB）。

我正在使用 x86-64（又名 x64 或 amd64）处理器。

当然可以选择-T largefile4，mkfs.ext4但是还有其他可以进行的优化吗？

我特别想知道：

  • 我应该将块大小增加到最大值（64K，-b 65536）吗？
  • 或者我应该使用块簇，并将簇大小设置为其最大值（256M，-C 268 435 456）
  • 或者我应该两者都做？

就磁盘空间和性能优化而言，最佳参数是什么？

ext4
Martin Hope
ChennyStar
Asked: 2024-01-08 17:23:08 +0800 CST
  • 8

我刚刚读到了EXT4 中的“内联数据”功能，更具体地说是关于如何启用它的答案。

EXT4 中默认未启用此功能的原因是什么？我想这是为了让 FS 与旧内核兼容，但旧内核还不支持此功能。还有其他原因吗？

如果我知道我永远不会使用较旧的内核，那么在使用 EXT4 格式化分区时是否有任何理由不始终启用此功能？

ext4
Martin Hope
ChennyStar
Asked: 2023-11-12 19:07:26 +0800 CST
  • 7

太长了；

在 EXT4 术语中，“块组”和“范围”是同一件事吗？

[编辑] 建议的“范围”功能在 Linux 的 ext4 文件系统中做什么？讨论并不能回答这个问题。虽然它清楚地解释了“范围”是什么，但它没有谈论“块组”，以及它是否是同一件事（它不是：请参阅下面的答案）。

细节

在这篇文章中，他们讨论了块组的结构：

块组

根据维基百科，范围是块的范围。

这两个概念是同一件事，只是使用不同的名称吗？

ext4
Martin Hope
xenoid
Asked: 2022-09-27 09:19:10 +0800 CST
  • 0

根据mount手册页，

仅当先前的访问时间早于当前的修改或更改时间时，才更新访问时间。

但是，如果我这样做（带有relatime选项（*）的 ext4）：

> date +%T.%N ; dd if=/dev/random of=random.dat bs=1 count=4096 ; date +%T.%N ; stat random.dat 
18:52:00.616084761
4096+0 records in
4096+0 records out
4096 bytes (4.1 kB, 4.0 KiB) copied, 0.0319383 s, 128 kB/s
18:52:00.651183318
  File: random.dat
  Size: 4096            Blocks: 8          IO Block: 4096   regular file
Device: fd01h/64769d    Inode: 28313073    Links: 1
Access: (0664/-rw-rw-r--)  Uid: ( 1000/      me)   Gid: ( 1000/      me)
Access: 2022-09-26 18:52:00.616297607 +0200
Modify: 2022-09-26 18:52:00.648297639 +0200
Change: 2022-09-26 18:52:00.648297639 +0200
 Birth: -

访问时间似乎停留在创建时间上，如果我重新运行它（所以现在random.dat存在，并且它与更新的 inode 相同）我得到：

> date +%T.%N ; dd if=/dev/random of=random.dat bs=1 count=4096 ; date +%T.%N ; stat random.dat 
18:52:43.014712313
4096+0 records in
4096+0 records out
4096 bytes (4.1 kB, 4.0 KiB) copied, 0.0633748 s, 64.6 kB/s
18:52:43.081174320
  File: random.dat
  Size: 4096            Blocks: 8          IO Block: 4096   regular file
Device: fd01h/64769d    Inode: 28313073    Links: 1
Access: (0664/-rw-rw-r--)  Uid: ( 1000/      me)   Gid: ( 1000/      me)
Access: 2022-09-26 18:52:00.616297607 +0200
Modify: 2022-09-26 18:52:43.076338407 +0200
Change: 2022-09-26 18:52:43.076338407 +0200
 Birth: -

...尽管完全重写了文件内容，但访问时间根本没有改变。

我错过了什么/误解了什么？访问时间不应该与修改和更改一起更新吗？

(*)/dev/mapper/vgkubuntu-root on / type ext4 (rw,relatime,errors=remount-ro)

(**)dd if=/dev/random用于演示目的（缓慢输出）

filesystems ext4
Martin Hope
Midnight
Asked: 2022-07-10 08:52:04 +0800 CST
  • 0

最近我电脑的电源坏了。我不知道这到底是怎么发生的，但我恢复了计算机的功能。我运行 PopOS 22.04 LTS Linux，我的操作系统也无法启动。我用可启动的 USB 修复了它。但是在启动时，我发现我的 2TB 数据硬盘也不见了。

它的分区已被替换为近 2TB 的“未分配空间”和一个 18MB 的 FAT12 Windows 分区（我忘记了它的实际名称，但我认为它类似于“Windows 磁盘管理”）。我确实在修复 Linux 之前意外启动了一次 Windows，因为我有一个双启动设置，我不知道 Windows 是否对它做了任何事情。

我之前的分区是 2TB 的 ext4 分区，仅此而已。它充满了数据，我认为数据仍然存在。从那以后我尝试的是（也许很愚蠢，我对此一无所知）添加一个分区，但是在看到我必须格式化分区以使其正常工作时，我停止了。我还尝试了 testdisk，它找到了一堆标记为 [Data] 的旧 Linux 分区，但当它报告分区太大而无法放入磁盘时最终失败。分区有通知''此分区在磁盘限制之后结束。''。这是我的 testdisk 日志文件的 hastebin：https ://www.toptal.com/developers/hastebin/ahetuwuquv.yaml

有什么方法可以恢复我的文件，或者让 testdisk 能够恢复我的分区或读取文件？提前致谢，如果我需要添加任何日志或信息，请告诉我。

data-recovery ext4
Martin Hope
gfdjjrtiejo
Asked: 2022-05-30 15:19:03 +0800 CST
  • 0

我只有一个硬盘。我想使用一个可以减少存储空间的文件系统，但作为权衡，给我校验和或任何其他方法来帮助保持数据完整性。

据我了解，像 ext4 或 xfs 之类的东西不会这样做，因此您可能会遭受静默数据损坏，也就是 bitrot。

zfs 看起来是个不错的选择，但我读到的所有内容都表明您需要多个磁盘才能使用它。为什么是这样？我意识到只有一个磁盘不会容忍单个磁盘故障，但这就是多个备份方案的用途。备份无济于事的是 bitrot 之类的东西。

那么我可以在单个硬盘驱动器上使用 zfs 来防止比特腐烂吗？如果没有，你有什么推荐的？

filesystems ext4
Martin Hope
RuMAN S
Asked: 2022-05-12 03:57:13 +0800 CST
  • 0

我试图从根本上解决一个客户案例，即使用相同命令格式化的 2 个相同驱动器由于额外的 Inode 开销而导致总磁盘空间存在约 55GB 的差异。

我想了解

  1. 关于 2x 如何Inodes per group转换为 2x的数学运算Inode count
  2. 使用标志时如何Inodes per group设置lazy_itable_init

环境：

2 个驱动器位于 2 个相同的硬件服务器上，运行在相同的操作系统上。以下是 2 个驱动器的详细信息（敏感信息已编辑）：

驱动器 A：

=== START OF INFORMATION SECTION ===
Vendor:               HPE
Product:              <strip>
Revision:             HPD4
Compliance:           SPC-5
User Capacity:        7,681,501,126,656 bytes [7.68 TB]
Logical block size:   512 bytes
Physical block size:  4096 bytes
LU is resource provisioned, LBPRZ=1
Rotation Rate:        Solid State Device
Form Factor:          2.5 inches
Logical Unit id:      <strip>
Serial number:        <strip>
Device type:          disk
Transport protocol:   SAS (SPL-3)
Local Time is:        Mon Apr 25 07:39:27 2022 GMT
SMART support is:     Available - device has SMART capability.

驱动器 B：

=== START OF INFORMATION SECTION ===
Vendor:               HPE
Product:              <strip>
Revision:             HPD4
Compliance:           SPC-5
User Capacity:        7,681,501,126,656 bytes [7.68 TB]
Logical block size:   512 bytes
Physical block size:  4096 bytes
LU is resource provisioned, LBPRZ=1
Rotation Rate:        Solid State Device
Form Factor:          2.5 inches
Logical Unit id:      <strip>
Serial number:        <strip>
Device type:          disk
Transport protocol:   SAS (SPL-3)
Local Time is:        Mon Apr 25 07:39:23 2022 GMT
SMART support is:     Available - device has SMART capability.

运行格式化驱动器的命令是：

sudo mke2fs -F -m 1 -t ext4 -E lazy_itable_init,nodiscard /dev/sdc1

问题：

驱动器 A 和 B的df -h输出分别显示大小为 6.9T 的驱动器 A 与大小为 7.0T 的驱动器 B：

/dev/sdc1       6.9T   89M  6.9T   1% /home/<strip>/data/<serial>
...
/dev/sdc1       7.0T  3.0G  6.9T   1% /home/<strip>/data/<serial>

观察：

  • 两个驱动器上的 fdisk 输出显示它们都有相同的分区。

驱动器A：

Disk /dev/sdc: 7681.5 GB, 7681501126656 bytes, 15002931888 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 8192 bytes / 8192 bytes
Disk label type: gpt
Disk identifier: 70627C8E-9F97-468E-8EE6-54E960492318


#         Start          End    Size  Type            Name
 1         2048  15002929151      7T  Microsoft basic primary

驱动器B：

Disk /dev/sdc: 7681.5 GB, 7681501126656 bytes, 15002931888 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 8192 bytes / 8192 bytes
Disk label type: gpt
Disk identifier: 702A42FA-9A20-4CE4-B938-83D3AB3DCC49


#         Start          End    Size  Type            Name
 1         2048  15002929151      7T  Microsoft basic primary
  • /etc/mke2fs.conf两个系统上的内容是相同的，所以这里没有有趣的事情：
================== DriveA =================
[defaults]
        base_features = sparse_super,filetype,resize_inode,dir_index,ext_attr
        enable_periodic_fsck = 1
        blocksize = 4096
        inode_size = 256
        inode_ratio = 16384

[fs_types]
        ext3 = {
                features = has_journal
        }
        ext4 = {
                features = has_journal,extent,huge_file,flex_bg,uninit_bg,dir_nlink,extra_isize,64bit
                inode_size = 256
        }
...
================== DriveB =================
[defaults]
        base_features = sparse_super,filetype,resize_inode,dir_index,ext_attr
        enable_periodic_fsck = 1
        blocksize = 4096
        inode_size = 256
        inode_ratio = 16384

[fs_types]
        ext3 = {
                features = has_journal
        }
        ext4 = {
                features = has_journal,extent,huge_file,flex_bg,uninit_bg,dir_nlink,extra_isize,64bit
                inode_size = 256
        }
  • 如果我们对两个驱动器的 tune2fs -l 输出进行比较，我们Inodes per group会在 DriveA 上看到 2x DriveB
  • 我们还在Inode countDriveA 上看到 2xDriveB (Full diff HERE )
DriveA:
    Inode count:              468844544
    Block count:              1875365888
    Reserved block count:     18753658
    Free blocks:              1845578463
    Free inodes:              468843793
    ...
    Fragments per group:      32768
    Inodes per group:         8192
    Inode blocks per group:   512
    Flex block group size:    16
    
DriveB:
    Inode count:              234422272 <----- Half of A
    Block count:              1875365888
    Reserved block count:     18753658
    Free blocks:              1860525018
    Free inodes:              234422261
    ...
    Fragments per group:      32768
    Inodes per group:         4096 <---------- Half of A
    Inode blocks per group:   256  <---------- Half of A
    Flex block group size:    16

write_inode_tables(fs, lazy_itable_init, itable_zeroed);
...
static void write_inode_tables(ext2_filsys fs, int lazy_flag, int itable_zeroed)
...
    if (lazy_flag)
        num = ext2fs_div_ceil((fs->super->s_inodes_per_group - <--------- here
                       ext2fs_bg_itable_unused(fs, i)) *
                      EXT2_INODE_SIZE(fs->super),
                      EXT2_BLOCK_SIZE(fs->super));

如果我们将 inode 计数的差异乘以恒定的 inode 大小 (256)，我们将获得(468844544-234422272)*256 = 60012101632 bytes约 55GiB 的额外 inode 开销。

  1. 任何人都可以帮助我计算 Inode 计数在增加到 2 倍时如何增加到 2Inodes per group倍吗？

  2. 是否lazy_itable_init在运行时影响决定 的值Inodes per group，如果是，我们如何理解它将设置什么值？（此标志是代码中对 s_inodes_per_group 的唯一引用）

filesystems ext4