Início / unix / Perguntas / 439514
Accepted
Age87
Asked: 2018-04-24 07:30:50 +0800 CST

Remova as linhas duplicadas adjacentes enquanto mantém a ordem

  • 772

Eu tenho um arquivo com uma coluna com nomes que se repetem várias vezes cada. Quero condensar cada repetição em uma, enquanto mantenho quaisquer outras repetições com o mesmo nome que não sejam adjacentes a outras repetições com o mesmo nome.

Por exemplo, eu quero virar o lado esquerdo para o lado direito:

Golgb1    Golgb1    
Golgb1    Akna
Golgb1    Spata20
Golgb1    Golgb1
Golgb1    Akna
Akna
Akna
Akna
Spata20
Spata20
Spata20
Golgb1
Golgb1
Golgb1
Akna
Akna
Akna

Isto é o que tenho usado: perl -ne 'print if ++$k{$_}==1' file.txt > file2.txt No entanto, este método mantém apenas um representante da esquerda (ou seja, Golb1 e Akna não são repetidos).

Existe uma maneira de manter nomes exclusivos para cada bloco, mantendo nomes que se repetem em vários blocos não adjacentes?

awk sed

5 respostas

  1. Best Answer

    uniqfará isso por você:

    $ uniq inputfile
Golgb1
Akna
Spata20
Golgb1
Akna
    • 25

  2. Awksolução:

    awk '$1 != name{ print }{ name = $1 }' file.txt

    A saída:

    Golgb1
Akna
Spata20
Golgb1
Akna
    • 10

  3. Tente isto - salve a linha anterior e compare com a linha atual

    $ perl -ne 'print if $p ne $_; $p=$_' ip.txt
Golgb1
Akna
Spata20
Golgb1
Akna

    Você também marcou uniq- você tentou?

    $ uniq ip.txt
Golgb1
Akna
Spata20
Golgb1
Akna
    • 6

  4. Com o sed pode ser feito da seguinte forma:

    sed -e '$!N;/^\(.*\)\n\1$/!P;D' input_file

    Aqui temos no espaço padrão a qualquer momento 2 linhas. Quando a comparação entre eles falha, imprimimos o primeiro e cortamos na frente e voltamos e acrescentamos a próxima linha no espaço do padrão. Enxágue... repita

    Utilizando Perl no modo slurp, tratamos o arquivo inteiro como uma string longa na qual o regex é aplicado, o que faz a comparação para você.

    perl -0777pe 's//$1/ while /^(.*\n)\1+/gm' input_file
    • 1

  5. Pergunta sobre a solução sed de Rakesh Sharma.

    E se você tiver um arquivo de entrada como:

    -126.1 48.206
-126.106 48.21
-126.11 48.212
-126.114 48.214
-126.116 48.216
-126.118 48.216
-126.128 48.222
-126.136 48.226

    E você quer que um arquivo de saída seja:

    -126.1 48.206
-126.106 48.21
-126.11 48.212
-126.114 48.214
-126.116 48.216
-126.128 48.222
-126.136 48.226

    Observe a falta:

    -126.118 48.216

    Eu sei que o comando que eu quero é semelhante à sua solução:

    sed -e '$!N;/^\(.*\)\n\1$/!P;D' input_file

    Não é possível alterá-lo da maneira correta para imprimir as duas colunas e apenas ser classificado dessa maneira especial com os valores da coluna 2. Alguma dica?

    • 0

relate perguntas