katosh's questions

Do código bash

command1 | tee >(command2) | command3

Eu quero capturar a saída de command2in var2e a saída de command3in var3.

command1é limitado por E/S e os outros comandos são caros, mas podem começar a funcionar antes do command1término.

A ordem das saídas de command2e command3não são fixas. Então eu tentei usar descritores de arquivo em

read -r var2 <<< var3=(command1 | tee >(command2 >&3) | command3) 3>&1

ou

{read -u 3 -r var2; read -r var3} <<< command1 | tee >(command2 >&3) | command3

mas não teve sucesso.

Existe uma maneira de executar os três comandos em paralelo, armazenar os resultados em variáveis ​​diferentes e não criar arquivos temporários?

Eu quero extrair todas as linhas $file1que começam com uma string armazenada em $file2.

$file1tem 4 GB de tamanho com cerca de 20 milhões de linhas, $file2tem 2 milhões de linhas, tem cerca de 140 MB de tamanho e contém duas colunas separadas por ,. O comprimento máximo de linha de ambos os arquivos está bem abaixo de 1000, eles são classificados com LC_ALL=Ce $file1podem conter quaisquer caracteres adicionais, exceto \0.

Inesperadamente este comando

parallel --pipepart -a $file1 grep -Ff $file2

consome uma quantidade extrema de memória e é morto pelo sistema operacional.

O comando funciona se eu limitar o número de threads:

parallel --pipepart -j 8 -a $file1 grep -Ff $file2

Para o último comando, htop revela que cada grep -Ff $file2-thread ocupa constantemente 12,3 GB de memória. Suponho que essa demanda venha do dicionário grep compilado do $file2.

Como posso obter esse filtro com mais eficiência?

Meu arquivo tem milhões de linhas, reside na memória /dev/shm/tmp.file, é acessado por vários threads, fica assim

831092,25a1bd66f2eec71aa2f0a8bb3d,/path/to/a/file
4324,8d83c29e4d8c71bd66f1bd66fs,/path/to/another/file
...

e é classificado pela parte após a segunda ,com sort -t , -k3. Em geral, cada linha tem a forma [0-9]*,[0-9a-z]*,.*e os caminhos de arquivo podem conter quaisquer caracteres, exceto \0ou \n.

Preciso extrair as linhas de todos os arquivos que residem em um determinado diretório o mais rápido possível e sem fazer uma cópia adicional. Como o arquivo é classificado dessa maneira, as linhas que estou procurando são uma parte ininterrupta do arquivo.

Atualmente eu uso, grep -F ',<directory>' /dev/shm/tmp.filemas sei que seria muito mais rápido fazer uma busca binária para o primeiro hit e depois expandir o pedaço linha por linha ou com outra busca binária sem ler o arquivo inteiro para cada nova linha. No entanto, isso precisa ser integrado a um script bash e não encontrei como fazer algo como lseek no bash.

Existe sgrep , mas requer que as linhas completas sejam classificadas.

Como posso extrair todas as correspondências com ',<directory>'mais rápido que grep -F?

Edit: A entrada /dev/shm/tmp.fileexiste apenas para fazer esse tipo de extração. Portanto, pré-processá-lo de alguma forma para facilitar o trabalho é uma opção.

Edit: a.b classificar entre ae a/bnão é um problema, pois todos os subdiretórios devem ser incluídos no bloco.