问题[uniq](unix)

我有这样的脚本

find path -type f -exec md5sum {} +'

有这个结论

/tmp
❯ find $pwd -type f -exec md5sum {} + 

\a7c8252355166214d1f6cd47db917226  ./guess.bash
e1c06d85ae7b8b032bef47e42e4c08f9  ./qprint.bash
8d672b7885d649cb76c17142ee219181  ./uniq.bash
2d547f5b610ad3307fd6f466a74a03d4  ./qpe
523166a51f0afbc89c5615ae78b3d9b0  ./Makefile
57a01f2032cef6492fc77d140b320a32  ./my.c
c5c7b1345f1bcb57f6cf646b3ad0869e  ./my.h
6014bc12ebc66fcac6460d634ec2a508  ./my.exe
0ff50f0e65b0d0a5e1a9b68075b297b8  ./levik/2.txt
5f0650b247a646355dfec2d2610a960c  ./levik/1.txt
5f0650b247a646355dfec2d2610a960c  ./levik/3.txt

我们需要这样的结论

5f0650b247a646355dfec2d2610a960c  ./levik/1.txt
5f0650b247a646355dfec2d2610a960c  ./levik/3.txt

我有一个包含 1601 行的列表，在每一行上，我有兴趣计算字段 5 出现不同值的次数。

这是我到目前为止所拥有的：

awk '{print$5}' FILE  | sort | uniq -c

这给了我一个 uniq 值列表，以及它们各自的计数。但我想对这个列表进行排序。我一直在看到讨论键和值的答案，但尚不清楚如何将其应用于我的案例。

感谢您提前提供任何帮助。

在给定的数据中，是否可以对每个区域进行 uniq 排序和仅打印最高命中？

给定数据

aza1 18
bcn1 16
sat2 12
lcy2 12
fra1 12
aza1 12
bcn1 10
sat2 8
lcy2 9
fra1 13
aza1 21
bcn1 2
sat2 10
lcy2 0
fra1 1

所需输出

aza1 21
bcn1 16
sat2 12
lcy2 12
fra1 13

来自https://unix.stackexchange.com/a/277707/674

find . ! -empty -type f -exec md5sum {} + | sort | uniq -w32 -dD

可以在当前目录下找到重复文件。

是什么-dD意思uniq？我在手册页中看到了-dand的含义-D，但不确定它们一起使用时的含义。谢谢。

假设你有一个这样的文件：

NW_006521251.1  428 84134
NW_006521251.1  511 84135
NW_006521038.1  202 84155
NW_006521038.1  1743 84153
NW_006521038.1  1743 84154
NW_006520495.1  198 84159
NW_006520086.1  473 84178
NW_006520086.1  511 84180

我想保留基于第 1 列和第 2 列的唯一行（即不仅仅是第 2 列，因为该数字可能在第 1 列的不同标签下重复）。

这样我得到这个作为输出（NW_006521038.1 1743从列表中删除第二个重复）：

    NW_006521251.1  428 84134
    NW_006521251.1  511 84135
    NW_006521038.1  202 84155
    NW_006521038.1  1743 84153
    NW_006520495.1  198 84159
    NW_006520086.1  473 84178
    NW_006520086.1  511 84180

有没有办法用 awk 做到这一点？使用uniq file不起作用。

我必须更改 uniq -c 的输出：（示例）

92 root
80 user

在

root 92
user 80

如果不使用 awk force，我该怎么办？