Início / unix / Perguntas / 537373
Accepted
Just a learner
Asked: 2019-08-26 11:14:15 +0800 CST

/usr/bin/truncate: lista de argumentos muito longa

  • 772

Eu quero usar o truncatecomando para criar um grande número de pequenos arquivos para teste. Eu tentei o comando com um pequeno número de arquivos (100) e funcionou. Quando alterei o número para 1000000, ele relata um erro:

root:[~/data]# truncate -s 1k {1..100}
root:[~/data]# rm -rf *
root:[~/data]# truncate -s 1k {1..1000000}
-bash: /usr/bin/truncate: Argument list too long
root:[~/data]#

Como posso resolvê-lo? Eu tenho uma sensação de que xargspoderia ser usado, mas não posso fazê-lo funcionar.

bash files

2 respostas

  1. Best Answer

    Você poderia fazer

    echo {1..1000000} | xargs truncate -s 1k

    (Isso deve funcionar com um shell com um eco embutido que não está sujeito a limites de comprimento de linha de comando. Também xargsdivide a entrada em qualquer espaço em branco por padrão, mas isso não importa aqui.)

    O acima pode usar uma quantidade enorme de memória, então usar seqcomo no comentário de mosvy pode ser melhor:

    seq 1 1000000 | xargs truncate -s 1k

    Eu costumo usar um loop embora (isso começa em 000000, não 1e tem zeros à esquerda em todos os nomes):

    for i in {000..999}; do
    touch "$i"{000..999}
done

    Ter um milhão de arquivos em um único diretório provavelmente será lento, então, a menos que você esteja testando apenas isso, pode ser uma boa ideia espalhá-los em subdiretórios, digamos:

    for i in {000..999}; do
    mkdir "$i"
    touch "$i"/{000..999}
done

    Observe que, se você não puder criar os arquivos porque eles não se encaixam em uma linha de comando e contornar isso de alguma forma, provavelmente também não poderá removê-los rm -f *. Você precisaria remover toda a árvore recursivamente ou fazer algo como find -maxdepth 1 -type f -delete.

    • 3

  2. Apenas adicionando uma nota à excelente resposta de @ilkkachu para explicar a lógica. O comando

    truncate -s 1k {1..1000000}

    chamadas truncatecom um milhão de argumentos mais três ( truncate( argv[0]) -se 1k) que está bem acima do limite padrão do número e tamanho cumulativo de argumentos e variáveis ​​de ambiente para a execve()chamada do sistema na maioria dos sistemas. Daí o erro "Lista de argumentos muito longa" .

    Em vez disso, a solução proposta

    seq 1 1000000 | xargs truncate -s 1k

    apenas executa truncate(via xargs) quantas vezes forem necessárias com tantos argumentos (ao lado truncatede , -se 1kque se repetem em cada chamada) quanto possível para evitar essa limitação da execve()chamada do sistema.

    • 2

relate perguntas