Início / unix / Perguntas / 731992
Accepted
paropunam
Asked: 2023-01-17 09:29:45 +0800 CST

O pipe contendo sort e awk grava muitos arquivos no disco enquanto obtém linhas aleatórias dos arquivos e acaba falhando devido ao armazenamento indisponível

  • 772

Tenho cerca de 500 GB de espaço livre em disco no meu SSD. Estou tentando executar uma operação em 10 arquivos gzipados (cada um com cerca de 25 GB de tamanho). Mas continuo ficando sem armazenamento quando faço isso em um parallelloop for, pois sortgrava muito temporary filesno mesmo diretório e aparentemente não limpa depois de si mesmo.

Estou tentando pegar aleatoriamente um certo número de linhas desses arquivos.

bcftools view "${FILES[i]}".vcf.gz | awk '{printf("%f\t%s\n",rand(),$0);}' | sort -t $'\t' -T . -k1,1g | head -n "${SUBSET_COUNT[i]}" | cut -f 2- >> "${FILES[i]}"_"${SUBSET_COUNT[i]}"_subset.vcf &

Essa operação leva em torno de 1 hora em cada arquivo (quando faço um a um), mas quero fazer em paralelo, pois preciso repetir isso em mais lotes desses arquivos.

awk

1 respostas

  1. Best Answer

    Eu realmente não entendo por que você está adotando essa abordagem e suspeito que não funcionaria de qualquer maneira, pois rand()não está sendo reinicializado e provavelmente está sempre fornecendo exatamente a mesma saída. Tente:

     $ for i in {1..10}; do awk -v i=$i 'BEGIN{print "Try "i",rand="rand()}'; done
Try 1,rand=0.924046
Try 2,rand=0.924046
Try 3,rand=0.924046
Try 4,rand=0.924046
Try 5,rand=0.924046
Try 6,rand=0.924046
Try 7,rand=0.924046
Try 8,rand=0.924046
Try 9,rand=0.924046
Try 10,rand=0.924046

    De qualquer forma, a coisa toda parece muito complicada, você pode simplesmente usar shuf:

    bcftools view file.vcf.gz | shuf -n 100 > newfile.vcf

    Isso selecionará 100 linhas aleatórias de sua entrada. Claro, isso não será um arquivo VCF válido, que requer cabeçalhos. Portanto, se você deseja gerar VCFs válidos, adicione o cabeçalho a cada arquivo e escolha N linhas aleatórias sem cabeçalho:

    zgrep '^#' file.vcf.gz > newfile.vcf &&
zgrep -v '^#' file.vcf.gz | shuf -n 100 >> newfile.vcf

    Ou, melhor, evite escrever texto não compactado:

    zgrep '^#' file.vcf.gz | bgzip > newfile.vcf.gz &&
zgrep -v '^#' file.vcf.gz | shuf -n 100 | bgzip >> newfile.vcf.gz
    • 2

relate perguntas