主页 / unix / 问题 / 509887
Accepted
Anna1364
Asked: 2019-04-02 07:10:12 +0800 CST

删除重复的行

  • 772

我有一个包含一堆行的文件，这是它的样子（只是一个文件头）：

    "chrom" "startA" "stopA" "genesA" "startB" "stopB" "genesB" "test"
    1 315121 317607 "gene2" 315521 317204 "gene3" 1684
    1 315521 317204 "gene3" 315121 317607 "gene2" 1684
    1 407644 408993 "gene4" 408421 409504 "gene5" 573
    1 407644 408993 "gene4" 408616 410013 "gene6" 378
    1 408421 409504 "gene5" 407644 408993 "gene4" 573
    1 408421 409504 "gene5" 408616 410013 "gene6" 889
    1 408616 410013 "gene6" 407644 408993 "gene4" 378
    1 408616 410013 "gene6" 408421 409504 "gene5" 889
    1 408616 410013 "gene6" 409682 411483 "gene7" 332
....

有一些相同的行（同一对基因，只是开始和停止位置的顺序不同，但它们完全相同）我需要删除重复的行。例如：

1 315121 317607 "gene2" 315521 317204 "gene3" 1684
1 315521 317204 "gene3" 315121 317607 "gene2" 1684

是相同的，它是基因 2 和 3 的组合，只是顺序不同，我想删除其中一个。

这是我想要的输出：

"chrom" "startA" "stopA" "genesA" "startB" "stopB" "genesB" "test"
    1 315121 317607 "gene2" 315521 317204 "gene3" 1684
    1 407644 408993 "gene4" 408421 409504 "gene5" 573
    1 407644 408993 "gene4" 408616 410013 "gene6" 378
    1 408421 409504 "gene5" 408616 410013 "gene6" 889
    1 408616 410013 "gene6" 409682 411483 "gene7" 332

有什么想法我可以完成这项任务吗？谢谢

text-processing sed

3 个回答

  1. Best Answer

    你可以试试：

    awk '{key = $4 < $7 ? $4 SUBSEP $7 : $7 SUBSEP $4} !seen[key]++' file

    它存储了删除重复记录所需的最小值。

    !seen[key]++是一个“著名的” awk 习语，仅在第一次看到“key”时才打印记录。

    • 2

  2. 您可以按第一列中的值对 2-3-4 和 5-6-7 列的三元组进行排序：

    perl -lane '@F[1,2,3,4,5,6] = @F[4,5,6,1,2,3] if $F[1] > $F[4]; print "@F"'

    然后您可以运行sort -u以删除重复项（但您需要对列名进行特殊处理）。

    • 0

  3. 保证每一行：

    • 第一个字段没有空间
    • 字段之间有 1 个空格
    • 最后一个字段没有空格

    通过 gnu sed，您在“数据”文件中的数据；

    sed -nE ':s G;/(\w+\s)(\w+\s)(\w+\s)(\S+\s)(\w+\s)(\w+\s)(\S+\s)(\w+)\n(.+\n)*\1\w+\s\6\7\w+\s\3\4\8/b; h;P' data
    • 0

相关问题