问题[filesystems](unix)

为了能够挂载使用文件系统格式化的 USB 密钥，ntfs我创建了以下fragment.cfg文件：

CONFIG_NTFS_FS=m
# CONFIG_NTFS_DEBUG is not set
CONFIG_NTFS_RW=y

我已经使用以下命令编译了内核：

bitbake -C compile virtual/kernel

通过对内核配置进行修改，我的发行版能够ntfs通过以下命令执行 USB 的挂载：

> mount /dev/sda /media/sda

其中/dev/sda是与 USB 密钥关联的设备，/media/sda是挂载点。

文件系统已安装但为只读。以下命令显示此信息：

# mount | grep media
/dev/sda on /media/sda type ntfs (ro,relatime,uid=0,gid=0,fmask=0177,dmask=077,nls=iso8859-1,errors=continue,mft_zone_multiplier=1)

在我已经设置的片段文件中CONFIG_NTFS_RW=y，为什么ntfsUSB 密钥的文件系统是以只读方式安装的？

编辑

如果我执行该命令，dmesg我会收到以下消息：

> dmesg
...
(device sda): load_system_files(): Volume is dirty.  Mounting read-only.  Run chkdsk and mount in Windows.

我已遵循上一条消息中写的信息：

• 我已将 USB 插入 Windows 系统
• Windows 系统已对 USB 执行了扫描修复

此后，我在 Linux 系统上正确执行了 USB 的挂载 R/W：

> mount -t ntfs /dev/sda /media/sda
> mount | grep media
/dev/sda on /media/sda type ntfs (rw,relatime,uid=0,gid=0,fmask=0177,dmask=077,nls=iso8859-1,errors=continue,mft_zone_multiplier=1)

此时，如果我尝试在 USB 上写入，我会收到以下错误：

> touch /media/sda/write_ntfs.txt
touch: cannot touch '/media/sda/write_ntfs.txt': Permission denied

如果我尝试更改 USB 上文件的权限，也会发生同样的情况：

> chmod 777 /media/sda/filename.csv
chmod: changing permissions of '/media/sda/filename.csv': Operation not supported

因此，尽管命令输出了mount，但 USB 的挂载似乎仍然是只读的！

我正在考虑使用 Btrfs 来存储包含许多小文件的数据卷。文档中关于最小块大小的说明不太清楚。

看来，他们和我们处在截然不同的现实边缘。他们的想法是增加块大小，而我的想法是减少块大小。他们想浪费磁盘空间，而我想节省空间。我还想减少 SSD 卷上不必要的丢弃重写操作。

他们似乎走得太远了，他们的文档实际上并不清楚最小的 btrfs 集群大小。

它是什么？4k？16k？64k？

例如，我可以有 512 字节的块吗？

我有一个外部硬盘 (不是固态硬盘)，它报告：

Sector Sizes:     512 bytes logical, 4096 bytes physical

我应该使用 --sector-size 512还是 --sector-size 4096使用cryptosetup LuksFormat？使用默认参数（不确定它是否会尝试自动检测或始终使用 512）最终得到 512。

如果重要的话，设置将是[disk]->[gpt]->[physical partition]->[LUKSv2]->[btrfs]

继续使用这两种方式来收集基准：

512

# sysbench fileio prepare
2147483648 bytes written in 34.28 seconds (59.75 MiB/sec).

# sysbench fileio --file-test-mode=rndrw run
Extra file open flags: (none)
128 files, 16MiB each
2GiB total file size
Block size 16KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      14.42
    writes/s:                     9.62
    fsyncs/s:                     31.25

Throughput:
    read, MiB/s:                  0.23
    written, MiB/s:               0.15

General statistics:
    total time:                          12.4778s
    total number of events:              562

Latency (ms):
         min:                                    0.00
         avg:                                   17.84
         max:                                  365.73
         95th percentile:                       84.47
         sum:                                10024.98

Threads fairness:
    events (avg/stddev):           562.0000/0.00
    execution time (avg/stddev):   10.0250/0.00


# sysbench fileio --file-test-mode=seqrewr run
Extra file open flags: (none)
128 files, 16MiB each
2GiB total file size
Block size 16KiB
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing sequential rewrite test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      0.00
    writes/s:                     815.93
    fsyncs/s:                     1045.19

Throughput:
    read, MiB/s:                  0.00
    written, MiB/s:               12.75

General statistics:
    total time:                          10.0488s
    total number of events:              18576

Latency (ms):
         min:                                    0.00
         avg:                                    0.54
         max:                                  433.66
         95th percentile:                        0.02
         sum:                                 9996.57

Threads fairness:
    events (avg/stddev):           18576.0000/0.00
    execution time (avg/stddev):   9.9966/0.00

4096年

# sysbench fileio prepare
2147483648 bytes written in 28.85 seconds (70.99 MiB/sec).


# sysbench --test=fileio --file-test-mode=rndrw run
File operations:
    reads/s:                      26.17
    writes/s:                     17.45
    fsyncs/s:                     58.35

Throughput:
    read, MiB/s:                  0.41
    written, MiB/s:               0.27

General statistics:
    total time:                          11.4636s
    total number of events:              1041

Latency (ms):
         min:                                    0.00
         avg:                                    9.63
         max:                                  370.49
         95th percentile:                       44.98
         sum:                                10021.97

Threads fairness:
    events (avg/stddev):           1041.0000/0.00
    execution time (avg/stddev):   10.0220/0.00



# sysbench fileio --file-test-mode=seqrewr run
File operations:
    reads/s:                      0.00
    writes/s:                     1229.02
    fsyncs/s:                     1574.44

Throughput:
    read, MiB/s:                  0.00
    written, MiB/s:               19.20

General statistics:
    total time:                          10.0071s
    total number of events:              27929

Latency (ms):
         min:                                    0.00
         avg:                                    0.36
         max:                                  471.49
         95th percentile:                        0.02
         sum:                                 9997.75

Threads fairness:
    events (avg/stddev):           27929.0000/0.00
    execution time (avg/stddev):   9.9978/0.00

对于人工小文件，4K 的读取速度似乎快两倍，写入速度快 0.25 倍。

另一次编辑。进行了同样的测试，但复制了 110G 的文件包，大小从 2.5Mb（95%tile）到 300Mb 不等。

512 和 4096 格式化驱动器均耗时 20 分 30 秒 +-4 秒

我知道最近访问的文件会被缓存到 RAM 中，但是是否有用于频繁执行的命令的缓存？

例如，如果我运行cat file.txt多次，file.txt则会在第一个命令后缓存。

1. 但是如果我运行ps aux多次，第一个命令的输出会被缓存在某处吗？
2. 每个应用程序是否都有自己的常用命令缓存；例如git log？

阅读完这个相关问题后，我认为正确的术语是memoization。

在创建安装 USB 磁盘时，我犯了一个小错误，指示了错误的设备，最终覆盖了 230 GB 磁盘的初始几百兆字节。

数据不是特别重要，但我仍然想恢复我能恢复的数据。第一个明显的尝试是，photorec它确实找到了一些东西。但后来，我希望我可以“修复”文件系统的剩余部分（毕竟，我覆盖了不到 0.5%）。

因此，我尝试使用多种参数组合运行e2fsck，包括使用备份超级块（类似于相关问题的答案中所建议的方式），最终在“lost+found”中出现了一堆文件夹 - 还算公平。问题是其中一些文件夹仍然会出现错误，例如

ls: cannot access 'lost+found/#26128': Structure needs cleaning

...但如果我现在再次运行e2fsck -f（如其他答案所建议的那样），我不会发现任何奇怪的事情

e2fsck 1.47.0 (5-Feb-2023)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
EData: 191504/15269888 files (0.1% non-contiguous), 48227460/61049344 blocks

... 顺便说一句，这只需要几秒钟，所以很明显它实际上并没有检查磁盘的所有内容。我尝试检查其他选项，例如尝试-E discard，但没有任何变化：检查仍然非常快，但里面的一些文件夹lost+found仍然出现相同的错误。

我该如何修复那些显示“结构需要清理”的文件夹错误？

请注意，从硬件角度来看，该设备运行完美。

我的磁盘上有这个文件：

$ ls -lh /path/to/some.mkv
-rwxr-xr-x 1 enrico enrico 7.4G Dec 17 18:54 /path/to/some.mkv

所以它小于 8 GB，但是当我尝试将它复制到 30GiB 闪存驱动器上时，出现此错误：

cp: error writing '/path/to/some.mkv': File too large

这是驱动器：

$ sudo fdisk -l | tail -n 16

Disk /dev/sdc: 29.3 GiB, 31457280000 bytes, 61440000 sectors
Disk model: USB DISK        
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x6f20736b

Device     Boot      Start        End    Sectors   Size Id Type
/dev/sdc1        778135908 1919645538 1141509631 544.3G 72 unknown
/dev/sdc2        168689522 2104717761 1936028240 923.2G 65 Novell Netware 386
/dev/sdc3       1869881465 3805909656 1936028192 923.2G 79 unknown
/dev/sdc4       2885681152 2885736650      55499  27.1M  d unknown

Partition table entries are not in disk order.
$ sudo mount /dev/sdc /mnt/foo
$ cd /mnt/foo
$ df . -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdc         30G   16K   30G   1% /mnt/foo

我是 Linux 新手。

正在阅读有关 Linux 文件系统的文章，偶然发现了目录/mnt和/media。据我所知，它们都用于挂载，我听说/media是“新”的，它是所有热插拔设备（例如 USB 棒）的存放位置。所以，我决定尝试一下...

我插入我的 USB 棒然后执行ls /media，发现 Linux 已经创建了一个以我的用户名命名的目录！真贴心。所以我执行ls /media/foo（以 foo 为我的用户名）并在那里找到了我的 USB 棒的名称。。'SanDisk 12.8.0 amd64 n'不知道那是什么意思。

出于好奇，我决定去尝试一下ls /mnt，但却一无所获！

那么...它/mnt又有什么用途呢？

因此，我再次在 Linux 中执行了一个看似无辜的操作，但我无法将其恢复到以前的样子。

前几天，我试图在文件系统中查找某些内容。（通常，我使用 Dolphin，但本指南说我可以在 gnome 中的 Nautilus/Files 中更轻松地找到它。）在“文件”应用程序中，我单击了“其他位置”，我的一个硬盘列在那里。单击它后，系统提示我安装该分区。我不想安装它，因为它是启动分区之一，并且已经安装好了。

但现在，每次我重新启动计算机时，登录时都会弹出相同的提示。

我已将其安装并卸载。一切正常，它只是将已经存在的“/boot”分区安装到“/media/$USERNAME”，这很愚蠢且没有必要。

我有：

• 查看了自动启动
• 查看了我的设备列表
• 修改了“/etc/fstab”，并使用“noauto”选项添加了这个特定的 UUID

似乎一切都没有改变，无论好坏。

我如何才能找到这个位置并摆脱每次登录时的提示？

（可移动设备面板很有趣，因为它在“附加设备”下有这个麻烦的分区，但我似乎无法在这里做任何更改，或者将其标记为不自动安装。）

如何解压.bin包含 DOS/MBR 引导扇区和另一个未检测到的文件系统的文件。我运行binwalk了它，它向我显示了数据的（估计）位置及其类型。输出为file：

chromeos_15393.58.0_reven_recovery_stable-channel_mp-v2.bin: DOS/MBR boot sector; partition 1 : ID=0xc, active, start-CHS (0x16,176,27), end-CHS (0x1e,216,58), startsector 364544, 131072 sectors; partition 2 : ID=0xee, start-CHS (0x0,0,2), end-CHS (0x0,0,2), startsector 1, 1 sectors

根据这些信息，我知道一开始有一个引导扇区，但是映像中的文件在哪里，我如何获取它们。仅供参考，它是基于 Android 的 ChromeOS（Android 基于 Linux），包含的 ZIP.bin位于此处。我已将dd磁盘映像编辑到 USB 并从那里使用它。

我尝试了gdisk一下，结果如下：

GPT fdisk (gdisk) version 1.0.10

Caution! After loading partitions, the CRC doesn't check out!
Warning! Main partition table CRC mismatch! Loaded backup partition table
instead of main partition table!

Warning! One or more CRCs don't match. You should repair the disk!
Main header: OK
Backup header: OK
Main partition table: ERROR
Backup partition table: OK

Partition table scan:
  MBR: hybrid
  BSD: not present
  APM: not present
  GPT: damaged

Found valid MBR and corrupt GPT. Which do you want to use? (Using the
GPT MAY permit recovery of GPT data.)
 1 - MBR
 2 - GPT
 3 - Create blank GPT

Your answer: 2
Disk /dev/sdb: 61341696 sectors, 29.3 GiB
Model: Cruzer Blade    
Sector size (logical/physical): 512/512 bytes
Disk identifier (GUID): 1F1C043E-3E55-B14D-94F1-3962AC2C5E25
Partition table holds up to 128 entries
Main partition table begins at sector 2 and ends at sector 33
First usable sector is 34, last usable sector is 13815959
Partitions will be aligned on 1-sector boundaries
Total free space is 266217 sectors (130.0 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1         5414912        13815944   4.0 GiB     8300  STATE
   2              69           32836   16.0 MiB    7F00  KERN-A
   3          499712         5414911   2.3 GiB     7F01  ROOT-A
   4           32837           65604   16.0 MiB    7F00  KERN-B
   5          495616          499711   2.0 MiB     7F01  ROOT-B
   6              65              65   512 bytes   7F00  KERN-C
   7              66              66   512 bytes   7F01  ROOT-C
   8          331776          364543   16.0 MiB    8300  OEM
   9              67              67   512 bytes   7F02  reserved
  10              68              68   512 bytes   7F02  reserved
  11              64              64   512 bytes   7F03  RWFW
  12          364544          495615   64.0 MiB    EF00  EFI-SYSTEM

当我看到“损坏的 GPT”时，我感到很困惑。它不可能损坏。说实话，这些区域的名称对于 Linux 安装来说是有意义的（例如 EFI-SYSTEM、KERN-A）。

我有一台嵌入式 Linux 设备（不是 Raspberry Pi），它在 eMMC 驱动器上有两个分区。我使用供应商提供的工具将这两个分区复制到 USB 驱动器上，该驱动器的大小大致等于 eMMC 驱动器的大小。

我接下来要做的是将 USB 驱动器安装到 Linux 计算机上，并使用诸如和e2fsck之类的工具resize2fs -M将第二个文件系统的大小调整为最小可行大小，最后用于gdisk调整分区本身的大小以匹配。

在所有计算中，我都小心确保分区不会小于文件系统，甚至我将分区做得稍微大一些，然后再resize2fs扩大文件系统以匹配它。

完成这些操作后，我得到了一个 16 GB 的 USB 驱动器，其中包含一个 118 MiB 的启动分区和一个 3.1 GiB 的根文件系统分区。然后我习惯dd直接从 USB 驱动器读取数据，利用bs=和count=参数将读取的数据量限制为仅延伸到第二个分区结束的地方加上一个额外的扇区以容纳“零扇区”。

结果是，我现在有一个图像文件，其中两个分区的大小与它们对应源的大小完全相同，但是当我使用 7-Zip 工具的“文件”->“属性”选项时，它声称“物理大小”（红色圈出）大于这些分区，并且大于我指示dd从源复制的大小。

这个“物理大小”值从何而来？它是分区表的一部分吗？还是dd以某种方式从磁盘读取的？

有什么方法可以修改它以摆脱“意外的数据结束”错误？