Estou usando Arch Linux/Debian Linux e quero uma lista de "identificadores" únicos em um arquivo ASCII txt. Aqui está um trecho dos dados que quero reduzir:
... (Received from VRW): wind ...
... (Received from 1a00): air_ ...
... (Received from 5710): air_ ...
... (Received from ####): air_ ...
... (Received from 15d8): air_ ...
... (Received from ####): air_ ...
... (Received from 6e9e): baro ...
... (Received from 6e9e): volt ...
... (Received from 6e9e): wind ...
... (Received from 6e9e): air_ ...
Devido ao grande tamanho do arquivo e aos inúmeros "identificadores" duplicados, quero gerar apenas identificadores exclusivos para que a saída fique assim:
... (Received from VRW): wind ...
... (Received from 1a00): air_ ...
... (Received from 5710): air_ ...
... (Received from ####): air_ ...
... (Received from 15d8): air_ ...
... (Received from 6e9e): baro ...
Melhor ainda seria simplesmente a lista de identificadores exclusivos, como 15d8, 6e9e, VRW, etc. Mas suspeito que isso seria muito mais difícil de fazer.
Das sugestões de perguntas semelhantes anteriores que tentei:
grep "(Received from" datafile.txt
e obtive uma lista enorme de identificadores, a maioria dos quais são repetições.
Eu também tentei:
grep "(Received from" datafile.txt | sort -u
mas não consegui dizer se fez alguma diferença
Eu também tentei:
parallel --tag --lb grep "Received from" {} | perl -ne '$seen{$_}++ or print;' ::: Data1.txt
o que provavelmente demonstra meu nível de ignorância nesses assuntos.