Verifique se todas as linhas de um arquivo são únicas

Awk solução:

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

Usando sort/ uniq:

sort input.txt | uniq

Para verificar apenas linhas duplicadas, use a -dopção para uniq. Isso mostrará apenas as linhas duplicadas, se nenhuma, não mostrará nada:

sort input.txt | uniq -d

TLDR

A pergunta original não era clara e dizia que o OP simplesmente queria uma versão exclusiva do conteúdo de um arquivo. Isso é mostrado abaixo. Na forma atualizada da pergunta, o OP agora está afirmando que simplesmente quer saber se o conteúdo do arquivo é exclusivo ou não.

Teste se o conteúdo do arquivo é único ou não

Você pode simplesmente usar sortpara verificar se um arquivo é único ou contém duplicatas da seguinte forma:

$ sort -uC input.txt && echo "unique" || echo "duplicates"

Exemplo

Digamos que eu tenha esses dois arquivos:

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

Agora, quando analisamos esses arquivos, podemos dizer se eles são únicos ou contêm duplicatas:

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

Pergunta original (conteúdo exclusivo do arquivo)

Pode ser feito apenas com sort:

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

Eu geralmente sorto arquivo, então uso uniqpara contar o número de duplicatas, então eu sortmais uma vez vejo as duplicatas na parte inferior da lista.

Eu adicionei uma duplicata aos exemplos que você forneceu:

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

Como não leio a página de manual há uniqalgum tempo, dei uma olhada rápida em busca de alternativas. O seguinte elimina a necessidade da segunda classificação, se você quiser apenas ver duplicatas:

$ sort thread.file | uniq -d
This is a thread  139737505302272

Se não houver duplicatas, todas as linhas são exclusivas:

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

Descrição: Ordena as linhas do arquivo para tornar as linhas repetidas consecutivas (sort)
Extrai todas as linhas consecutivas que são iguais (uniq -d).
Se houver alguma saída do comando acima ( [...]), então ( &&) imprima uma mensagem.

Isso não estaria completo sem uma resposta Perl!

$ perl -ne 'print if ++$a{$_} == 2' yourfile

Isso imprimirá cada linha não exclusiva uma vez: portanto, se não imprimir nada, o arquivo terá todas as linhas exclusivas.

Usando cmpe sortem bash:

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

ou

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

Isso classificaria o arquivo duas vezes, assim como a resposta aceita.