主页 / ubuntu / 问题 / 796947
Accepted
wb9688
Asked: 2016-07-11 02:05:16 +0800 CST

为什么我的排序文件更大？

  • 772

我有一个 2958616 字节的文本文件。当我运行时 sort < file.txt | uniq > sorted-file.txt，我得到一个 3213965 字节的文本文件。为什么我的排序文本文件更大？

您可以在此处下载文本文件。

text-processing

2 个回答

  1. Best Answer

    虽然您的原始文件有以 结尾的行\n，但您的排序文件有\r\n. 添加\r是改变大小的原因。

    为了说明，当我在我的 Linux 系统上运行您的命令时会发生以下情况：

    $ sort < file.txt | uniq > sorted-file.linux.txt
$ ls -l file.txt sorted-file.linux.txt 
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt
$ wc -l file.txt sorted-file.linux.txt 
273882 file.txt
271576 sorted-file.linux.txt

    如您所见，排序后的重复数据文件短了几行，因此也少了几个字节。但是，您的文件不同：

    $ wc -l sorted-file.linux.txt sorted-file.txt 
271576 sorted-file.linux.txt
271576 sorted-file.txt

    这两个文件的行数完全相同，但是：

    $ ls -l file.txt sorted-file.linux.txt sorted-file.txt 
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt
-rw-r--r-- 1 terdon terdon 3213965 Jul 10 12:11 sorted-file.txt

    我从你的链接下载的那个sorted-file.txt更大。如果我们现在检查第一行，我们可以看到额外的\r：

    $ head -n1 sorted-file.txt | od -c
0000000   a  \r  \n
0000003

    我在 Linux 上创建的版本中不存在以下内容：

    $ head -n1 sorted-file.linux.txt | od -c
0000000   a  \n
0000002

    如果我们现在\r从您的文件中删除：

    $ tr -d '\r' < sorted-file.txt > new-sorted-file.txt

    我们得到了预期的结果，一个比原始文件更小的文件，就像我在我的系统上创建的一样：

    $ ls -l sorted-file.linux.txt new-sorted-file.txt file.txt
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:19 new-sorted-file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt
    • 42

  2. hexdump揭示它！

    $ hexdump -cn 32 file.txt 
0000000   a   d   h   d  \n   a   d   s   l  \n   a   m   v   b  \n   a
0000010   o   v  \n   a   o   w  \n   a   r   o   b  \n   a   s   f   a
0000020

$ hexdump -cn 32 my-sorted.txt 
0000000   a  \n   a   a  \n   a   a   a  \n   a   a   d  \n   a   a   d
0000010   s  \n   a   a   f   j   e  \n   a   a   f   j   e   s  \n   a
0000020 

$ hexdump -cn 32 sorted-file.txt 
0000000   a  \r  \n   a   a  \r  \n   a   a   a  \r  \n   a   a   d  \r
0000010  \n   a   a   d   s  \r  \n   a   a   f   j   e  \r  \n   a   a
0000020

    您的排序文件更大，因为它使用 Windows 行尾\r\n（两个字节）而不是 Linux 行尾\n（一个字节）。

    可能是您在 Windows 下使用诸如cygwinWindows 10 之类的工具或这个新的 Linux 子系统运行该命令吗？或者你有没有在 Wine 中运行过一些东西？

    • 25

相关问题