Início / unix / Perguntas / 537326
Accepted
Joel Deleep
Asked: 2019-08-26 04:39:17 +0800 CST

Diferença entre cat file.txt | sort -u e cat file.txt | único

  • 772

Eu quero saber a diferença entre sort -u e uniq. Eu tentei o comando abaixo para obter a contagem das strings exclusivas em um arquivo, sort -u e uniq fornece a mesma saída do meu conhecimento. Então, por que forneceu duas contagens diferentes.

cat test.txt | sort -u | wc -l 
351
cat test.txt | uniq | wc -l
370

Por que ele mostra duas contagens de linhas diferentes?

linux sort

2 respostas

  1. uniqprecisa que a entrada já esteja classificada. Duplicatas que não aparecem sequencialmente não serão eliminadas:

    ~ printf %s\\n 1 2 1 | uniq
1
2
1
~ printf %s\\n 1 2 1 | sort | uniq
1
2
~ printf %s\\n 1 2 1 | sort -u
1
2
    • 4
  2. Best Answer

    Estritamente falando, uniqnão precisa de entrada classificada - mas é verdade que uniqapenas removerá linhas duplicadas consecutivas.

    A diferença é que:

    • sortclassifica um arquivo e (usando sua -uopção) também pode eliminar linhas duplicadas, que agora serão todas consecutivas à medida que foram classificadas.

    • uniqexclui linhas duplicadas consecutivas. Ele também tem opções para gerar apenas linhas duplicadas ( uma de cada com -d, ou todos os dupes com -D), e pode gerar uma contagem de quantas vezes uma linha apareceu na entrada ( -c). Ele também tem outras opções para controlar como os dupes são detectados, como pular campos e comparar apenas N caracteres em uma linha.

    • a saída de sortpode, é claro, ser canalizada uniqse você quiser combinar os recursos de ambos.

    sort -ué útil quando você não se preocupa em preservar a ordem do arquivo de entrada ou realmente deseja classificá-lo - mas não deseja duplicatas na saída.

    uniqé útil quando é necessário preservar a ordem de entrada, ou quando você só se preocupa com dupes consecutivos - por exemplo, quando você deseja uniq um arquivo já classificado (não há necessidade de desperdiçar CPU e IOPS classificando-o novamente); ou remova todas as linhas consecutivas, exceto uma, entre parágrafos (por exemplo, pdftotextmuitas vezes produz muito espaço em branco entre linhas ou parágrafos - uniqpode remover os extras, facilitando a leitura ou edição).

    • 4

relate perguntas