在此命令中，sort -u删除了重复项。
curl https://en.wikipedia.org/wiki/Help:Special_page -s | grep -oP 'Special:\K[a-zA-Z0-9]*' | sort -u > special_page_names
在这个命令中，它没有。
curl https://en.wikipedia.org/wiki/Help:Special_page -s | grep -oP 'Special:\K[a-zA-Z0-9]*' > special_page_names
sort -u special_page_names
为什么 sort -u 只删除管道中的重复项？
即，为什么在常规文件上运行时不删除重复项？
当borg create命令与--progress参数一起使用时，它的输出如下：
5.50 GB O 5.10 GB C 23.95 kB D 15600 N /path/to/current/file/being/processed
我能够在这里找到上面的缩写代表什么：
--progress 选项显示（从左到右）原始、压缩和去重（分别为 O、C 和 D），然后是到目前为止处理的文件数 (N)，然后是当前处理的路径。-来源
然而，我仍然不确定这里使用的Deduplicated的含义。
在上面的示例中，Deduplicated 的值为23.95 kB。这是否意味着在迄今为止处理的 5GB 数据中，只有 23.95 kB 需要传输，因为这是自我上次归档到存储库以来发现的唯一唯一数据？
我想知道是否有办法在 Ubuntu 20.04中安装Red Hat 的 vdo 。
到目前为止，我已经尝试下载源代码并进行编译，但出现以下错误：
cc -fPIC -fpic -D_GNU_SOURCE -g -O3 -fno-omit-frame-pointer -Wall -Wcast-align -Werror -Wextra -Winit-self -Wlogical-op -Wmissing-include-dirs -Wpointer-arith -Wredundant-decls -Wunused -Wwrite-strings -std=gnu99 -pedantic -Wbad-function-cast -Wcast-qual -Wfloat-equal -Wformat=2 -Wmissing-declarations -Wmissing-format-attribute -Wmissing-prototypes -Wnested-externs -Wold-style-definition -Wswitch-default -I. -I../uds -Wno-write-strings -DCURRENT_VERSION="\"8.1.0.316\"" -c -MMD -MF .deps/vdoformat.d.new -MP -MT vdoformat.o -o vdoformat.o vdoformat.c
vdoformat.c:22:10: fatal error: blkid/blkid.h: No such file or directory
22 | #include <blkid/blkid.h>
| ^~~~~~~~~~~~~~~
compilation terminated.
我不明白为什么会出现错误，因为我已经安装了libblkid包。
真正困扰我的是lvmvdo有一个联机帮助页（我猜是 Red Hat VDO 到 Ubuntu 的“端口”），但它只说：
为了使用 lvm(8) 标准 VDO 用户空间工具 vdoformat(8) 和当前非标准内核 VDO 模块“kvdo”，需要在系统上安装 VDO。
我确实在 Ubuntu 20.04 中默认安装了 lvm 包，但我找不到安装vdoformat或kvdo包的方法。
我使用 fdupes 查找和删除相同的文件。
但我希望能够说出这样的话......
换句话说，将 B 中不存在的所有文件保留在 C 中。请注意目录结构不相同，因此 rsync 在这里没有用。
我认为 fdupes 不提供此功能。我必须为每对手动选择要删除/保留的。
所以我想写一个快速的 Python 脚本来做同样的事情。但是有没有我可以从 Python 调用的快速系统命令，它可以为每个文件提供某种唯一的 ID，这是查看两个文件是否相同的可靠方法。我在想一些不涉及我将文件加载到 python 中并对它们的内容进行哈希处理的事情。
我正在阅读rmlint手册，其中一个重复的处理程序是克隆和重新链接：
· 克隆：仅限 btrfs。尝试使用 BTRFS_IOC_FILE_EXTENT_SAME ioctl(3p) 克隆这两个文件。这将物理删除重复的范围。至少需要内核 4.2。
· reflink：尝试将重复文件重新链接到原始文件。另请参见 man 1 cp 中的 --reflink。如果文件系统不支持它会失败。
这个克隆究竟做了什么，它与反射链接有什么不同？BTRFS_IOC_FILE_EXTENT_SAME ioctl 做什么？