Início / unix / Perguntas / 452569
Accepted
NoMoreMrNiceGaius
Asked: 2018-06-29 22:23:40 +0800 CST

equivalente multicore para '| classificar | uniq -c | comando sort -n'

  • 772

Eu gostaria de perguntar se existe um equivalente multicore pronto para uso para um '| classificar | uniq -c | comando sort -n'?

Eu sei que posso usar o procedimento abaixo

split -l5000000 data.tsv '_tmp';
ls -1 _tmp* | while read FILE; do sort $FILE -o $FILE & done;
sort -m _tmp* -o data.tsv.sorted

Mas tem um gosto um pouco exagerado.

sort parallelism

2 respostas

  1. Best Answer

    GNU sorttem um --parallelsinalizador:

    sort --parallel=8 data.tsv | uniq -c | sort --parallel=8 -n

    Isso usaria oito processos/threads simultâneos para fazer cada uma das duas etapas de classificação. A uniq -cpeça ainda estará usando um único processo.

    Como Stéphane Chazelas aponta nos comentários, a implementação GNU de sortjá está paralelizada (está usando threads POSIX), portanto, modificar o número de threads simultâneos só é necessário se você quiser usar mais ou menos threads do que você tem núcleos.

    Observe que o segundo sortprovavelmente obterá muito menos dados do que o primeiro, devido à uniqetapa, portanto, será muito mais rápido.

    Você também pode (possivelmente) melhorar a velocidade de classificação brincando com --buffer-size=SIZEe --batch-size=NMERGE. Veja o sortmanual.

    Para acelerar ainda mais a classificação, certifique-se de sortgravar seus arquivos temporários em um sistema de arquivos rápido (se você tiver vários tipos de armazenamento anexado). Você pode fazer isso definindo a TMPDIRvariável de ambiente para o caminho do diretório gravável em tal ponto de montagem (ou use sort -T directory).

    • 10

  2. Isso é mais rápido para mim. YMMV (definitivamente depende de quantas duplicatas existem):

    parallel --lb --pipepart --block 15m -a /tmp/big.file 'sort | uniq -c' |
  awk '{ count[$2] += $1 } END { for(elem in count) print count[elem], elem }' |
  sort -n
    • 0

relate perguntas