Início / unix / Perguntas / 528679
Accepted
Apricot
Asked: 2019-07-07 05:07:20 +0800 CST

Movendo milhões de arquivos para um diretório diferente com padrões de nomes específicos

  • 772

Tenho milhões de arquivos com a seguinte nomenclatura em uma máquina Linux:

1559704165_a1ac6f55fef555ee.jpg

Os primeiros 10 dígitos são timestamp e os seguidos por um _são ids específicos. Quero mover todos os arquivos que correspondem a IDs de nome de arquivo específicos para uma pasta diferente.

Eu tentei isso no diretório com arquivos

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

No entanto, estou recebendo um erro indicando:

bash 1559704165_a1ac6f55fef555ee.jpg: command not found

Quando tentei, mv ??????????_a1ac*.jpg estou recebendo um erro muito longo na lista de argumentos. Eu tenho pelo menos 15 padrões de nome de arquivo diferentes. Como faço para movê-los.

file-copy

5 respostas

  1. Best Answer

    Você deveria usar:

    find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' \
-exec mv -t destination "{}" +

    Então maxdepth 1significa que você deseja pesquisar no diretório atual sem subdiretórios.

    type fsignifica encontrar apenas arquivos.

    name '??????????_a1ac*.jpg'é um padrão que corresponde ao arquivo que você está procurando.

    mv -t destination "{}" +significa mover os arquivos correspondentes para o destino. Aqui +adiciona novos arquivos correspondentes ao anterior, como:

    mv -t dest a b c d

    Aqui abcd são arquivos diferentes.

    • 15

  2. Seu comando,

    find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

    Encaminha a lista de todos os arquivos PARA todos os arquivos!

    find . -maxdepth 1 -type f -name `*_a1ac*.jpg` -print0 |\
xargs  -0 -r mv -t "/home/ubuntu/ntest"

    vai fazer o truque.

    • 11

  3. Você está muito perto. Você deve usar a -nameopção para find. E lembre-se de citar o padrão.

    Então

    find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' |xargs mv -t "/home/ubuntu/ntest"
    • 8

  4. Não tão "bom" quanto as findsoluções, mas outra solução válida é tornar os mvcomandos mais granulares.

    Isso faz 4096 movimentos, com um número menor de arquivos movidos por mvoperação.

    FILEPAT=a1ac
for i in $(seq $((0x000)) $((0xfff))); 
do 
   H=$(printf '%x\n' $i)
   mv 1559704165_${FILEPAT}${H}*.jpg /home/ubuntu/ntest
done
    • 2

  5. Se você deseja mover arquivos no mesmo sistema host, o que acho que está fazendo com o seu mv, rsyncpode ser uma opção mais rápida:

    rsync -av --inplace -W /source/??????????_a1ac*.jpg /home/ubuntu/ntest/

    --inplacee -Westão configurados para acelerar o processo.

    Se isso gerar outro erro de lista de argumentos muito longo , você poderá alimentar listas pararsync

    Faça a lista com find, por exemplo

    find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' > /tmp/my_image_list.txt

    e dar-lhersync

    rsync -av --inplace -W --files-from=/tmp/my_image_list.txt /path/to/files /home/ubuntu/ntest/

    A fonte aqui é /path/to/files, porque rsynctratará a lista que você fornecer como relativa à sua fonte.

    O ponto é: rsyncé mais rápido que mv, se os arquivos não estiverem no mesmo sistema de arquivos .

    • -2

relate perguntas