主页 / unix / 问题 / 453906
Accepted
Soner from The Ottoman Empire
Asked: 2018-07-07 08:29:40 +0800 CST

检查文件的所有行是否唯一

  • 772

我有一个包含如下行的文本文件：

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

我如何确定每一行的唯一性？

注意：目标是测试文件，而不是在存在重复行时对其进行修改。

text-processing

8 个回答

  1. awk 解决方案：

    awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"
    • 25
  2. Best Answer
    [ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique
    • 24

  3. 使用sort/ uniq：

    sort input.txt | uniq

    要仅检查重复行，请使用-duniq 选项。这将只显示重复的行，如果没有，它将不显示任何内容：

    sort input.txt | uniq -d
    • 23

  4. TLDR

    最初的问题不清楚，并且读到 OP 只是想要一个文件内容的唯一版本。如下所示。在问题的自更新形式中，OP 现在声明他/她只是想知道文件的内容是否唯一。

    测试文件的内容是否唯一

    您可以简单地使用sort来验证文件是否唯一或包含重复文件，如下所示：

    $ sort -uC input.txt && echo "unique" || echo "duplicates"

    例子

    假设我有这两个文件：

    重复样本文件 
    $ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520
    独特的样本文件 
    $  cat uniq_input.txt
A
B
C
D

    现在，当我们分析这些文件时，我们可以判断它们是唯一的还是包含重复的：

    测试重复文件 
    $ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates
    测试唯一文件 
    $ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

    原始问题（文件的唯一内容）

    只需sort：

    $ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680
    • 5

  5. 我通常sort是文件，然后uniq用来计算重复项的数量，然后我sort再次在列表底部看到重复项。

    我在您提供的示例中添加了一份副本：

    $ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

    由于我有一段时间没有阅读手册页uniq，所以我快速查看了任何替代方案。如果您只想查看重复项，则以下内容无需进行第二次排序：

    $ sort thread.file | uniq -d
This is a thread  139737505302272
    • 3

  6. 如果没有重复，则所有行都是唯一的：

    [ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

    说明：对文件行进行排序以使重复行连续（排序）
    提取所有相等的连续行（uniq -d）。
    如果上面的命令有任何输出 ( [...])，则 ( &&) 打印一条消息。

    • 2

  7. 如果没有 Perl 答案，这将是不完整的！

    $ perl -ne 'print if ++$a{$_} == 2' yourfile

    这将打印每个非唯一行一次：因此，如果它什么都不打印，则该文件具有所有唯一行。

    • 2

  8. 使用cmp和sort在bash：

    cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

    或者

    if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

    不过，这将对文件进行两次排序，就像接受的答案一样。

    • 1

相关问题