Tenho arquivos de texto de 100 GB e quero dividi-los em 10.000 arquivos. Eu costumava fazer essas tarefas com algo como:
split -l <number of lines> -d --additional-suffix=.txt bigfile small_files_prefix
Mas tentei fazer isso com este e monitorei meu sistema e percebi que não estava usando muita memória ou CPU, então percebi que está apenas lendo o arquivo do começo ao fim com um thread.
Existe alguma ferramenta de baixo nível (ou desempenho muito alto) que possa executar essa tarefa com vários threads.
Eu até preferiria copiar o arquivo se necessário e aproveitar meus múltiplos núcleos se possivelmente mais rápido (acho que não!).
Mesmo com SSDs, o gargalo da divisão de arquivos é a E/S. Ter vários processos/threads para isso não vai ganhar performance e muitas vezes fica bem mais lento.
Além disso, se você deseja dividir apenas em novas linhas, não fica claro com antecedência de onde cada thread deve copiar. Você provavelmente teria que escrever uma ferramenta especial para isso.
A situação pode ser diferente se outra ação for necessária, como, por exemplo, dividir e compactar. Nesse caso, o uso de vários núcleos pode ajudar, mas a E/S não é o gargalo (dependendo da unidade e da velocidade da CPU).