Início / unix / Perguntas / 407054
Accepted
αԋɱҽԃ αмєяιcαη
Asked: 2017-11-26 16:03:47 +0800 CST

remova o número de linhas duplicadas com base na correspondência antes da primeira vírgula

  • 772

Tenho um texto grande no servidor Linux Centos 7 e gostaria de remover as linhas correspondentes antes da primeira vírgula

Entrada:

112112112,00,00,00
110110,01,01,02
112112112,11,11,888
110110,99,88,8
410410,22,22,22

Resultado:

410410,22,22,22
awk sed

2 respostas

  1. Best Answer

    Aqui estão algumas awksoluções de duas passagens. A primeira passagem armazena a frequência do campo 1 em uma matriz x. A segunda passagem imprime uma linha se xrelatar a frequência do campo 1 como 1

    awk -F, 'first_pass{x[$1]++; next}; x[$1] == 1' first_pass=1 file first_pass=0 file

awk -F, 'BEGIN{while ((getline<ARGV[1]) > 0)x[$1]++}; x[$1] == 1' file
    • 1

  2. Combinação curta GNU datamash+ :sed

    datamash -sft',' -g1 count 1 <file | sed -n 's/,1$//p'

    O 1º processo do pipeline acima contará o número de itens em cada grupo dos 1º valores de campo (agrupados por -g1) adicionando as contagens resultantes como o último campo

    • 0

relate perguntas