Início / unix / Perguntas / 509887
Accepted
Anna1364
Asked: 2019-04-02 07:10:12 +0800 CST

remover linhas duplicadas

  • 772

Eu tenho um arquivo com várias linhas, aqui está como ele se parece (apenas um cabeçalho de arquivo):

    "chrom" "startA" "stopA" "genesA" "startB" "stopB" "genesB" "test"
    1 315121 317607 "gene2" 315521 317204 "gene3" 1684
    1 315521 317204 "gene3" 315121 317607 "gene2" 1684
    1 407644 408993 "gene4" 408421 409504 "gene5" 573
    1 407644 408993 "gene4" 408616 410013 "gene6" 378
    1 408421 409504 "gene5" 407644 408993 "gene4" 573
    1 408421 409504 "gene5" 408616 410013 "gene6" 889
    1 408616 410013 "gene6" 407644 408993 "gene4" 378
    1 408616 410013 "gene6" 408421 409504 "gene5" 889
    1 408616 410013 "gene6" 409682 411483 "gene7" 332
....

Existem algumas linhas idênticas (o mesmo par de genes, apenas a ordem das posições inicial e final diferem, mas são exatamente as mesmas) que preciso remover a linha repetida. Por exemplo:

1 315121 317607 "gene2" 315521 317204 "gene3" 1684
1 315521 317204 "gene3" 315121 317607 "gene2" 1684

são os mesmos, é a combinação dos genes 2 e 3 apenas em uma ordem diferente e quero remover um deles.

Aqui está minha saída desejada:

"chrom" "startA" "stopA" "genesA" "startB" "stopB" "genesB" "test"
    1 315121 317607 "gene2" 315521 317204 "gene3" 1684
    1 407644 408993 "gene4" 408421 409504 "gene5" 573
    1 407644 408993 "gene4" 408616 410013 "gene6" 378
    1 408421 409504 "gene5" 408616 410013 "gene6" 889
    1 408616 410013 "gene6" 409682 411483 "gene7" 332

Tem alguma ideia de como posso fazer essa tarefa? Obrigado

text-processing sed

3 respostas

  1. Best Answer

    Você pode tentar:

    awk '{key = $4 < $7 ? $4 SUBSEP $7 : $7 SUBSEP $4} !seen[key]++' file

    Isso armazena o mínimo necessário para remover os registros duplicados.

    !seen[key]++é um idioma awk "famoso" para imprimir um registro apenas pela primeira vez que "chave" é vista.

    • 2

  2. Você pode ordenar os trigêmeos das colunas 2-3-4 e 5-6-7 pelo valor na primeira coluna:

    perl -lane '@F[1,2,3,4,5,6] = @F[4,5,6,1,2,3] if $F[1] > $F[4]; print "@F"'

    Então você pode simplesmente executar sort -upara remover as duplicidades (mas você precisa de maiúsculas e minúsculas nos nomes das colunas).

    • 0

  3. Assegurando em cada linha:

    • sem espaço até o primeiro campo
    • 1 espaço exato entre o campo
    • sem espaço no último campo

    pelo gnu sed, seus dados no arquivo 'data';

    sed -nE ':s G;/(\w+\s)(\w+\s)(\w+\s)(\S+\s)(\w+\s)(\w+\s)(\S+\s)(\w+)\n(.+\n)*\1\w+\s\6\7\w+\s\3\4\8/b; h;P' data
    • 0

relate perguntas