Início / server / Perguntas / 219013
Accepted
Aron Rotteveel
Asked: 2011-01-06 07:26:12 +0800 CST

Mostrando o progresso total no rsync: é possível?

  • 772

Já procurei essa opção, mas só encontrei soluções que envolvem patches personalizados . O fato de que não aparece em --help e nenhuma informação adicional pode ser encontrada provavelmente indica que a resposta é 'não', mas eu gostaria de ver isso confirmado.

É possível mostrar o progresso total da transferência de arquivos com o rsync?

linux rsync

19 respostas

  1. Best Answer

    Agora existe uma maneira oficial de fazer isso no rsync (versão 3.1.0 do protocolo versão 31, testado com o Ubuntu Trusty 14.04).

    #> ./rsync -a --info=progress2 /usr .
    305,002,533  80%   65.69MB/s    0:00:01  xfr#1653, ir-chk=1593/3594)

    Eu tentei com minha /usrpasta porque queria esse recurso para transferir sistemas de arquivos inteiros e /usrparecia ser uma boa amostra representativa.

    O --info=progress2dá uma boa porcentagem geral, mesmo que seja apenas um valor parcial. Na verdade, minha /usrpasta tem mais de 6 GB:

    #> du -sh /usr
6,6G    /usr/

    e rsynclevou muito tempo para digitalizar tudo. Então quase o tempo todo a porcentagem que eu vi estava cerca de 90% concluída, mas mesmo assim é reconfortante ver que algo está sendo copiado :)

    Referências:

    • 551

  2. O seguinte se aplica ao rsync versão 3.0.0 e superior. As opções descritas abaixo foram introduzidas nessa versão em 1º de março de 2008.

    Junto com --info=progress2 você também pode usar a opção --no-inc-recursive (ou seu alias --no-ir mais curto ) para desabilitar a recursão incremental.

    Isso criará toda a lista de arquivos no início, em vez de descobrir mais arquivos de forma incremental à medida que a transferência continua. Como conhecerá todos os arquivos antes de iniciar, fornecerá um relatório melhor do progresso geral. Isso se aplica ao número de arquivos - ele não relata nenhum progresso com base nos tamanhos dos arquivos.

    Isso envolve uma troca. Construir toda a lista de arquivos com antecedência consome mais memória e pode atrasar significativamente o início da transferência real. Como seria de esperar, quanto mais arquivos houver, maior será o atraso e mais memória será necessária.

    O seguinte é do manual do rsync (fonte - http://rsync.samba.org/ftp/rsync/rsync.html ):

    -r, --recursivo

    Isso diz ao rsync para copiar os diretórios recursivamente. Consulte também --dirs (-d). A partir do rsync 3.0.0, o algoritmo recursivo usado agora é uma varredura incremental que usa muito menos memória do que antes e inicia a transferência após a conclusão da varredura dos primeiros diretórios. Essa varredura incremental afeta apenas nosso algoritmo de recursão e não altera uma transferência não recursiva. Também só é possível quando ambas as extremidades da transferência são pelo menos a versão 3.0.0.

    Algumas opções exigem que o rsync conheça a lista completa de arquivos, portanto, essas opções desativam o modo de recursão incremental. Estes incluem: --delete-before, --delete-after, --prune-empty-dirs e --delay-updates. Por causa disso, o modo de exclusão padrão quando você especifica --delete agora é --delete-during quando ambas as extremidades da conexão são pelo menos 3.0.0 (use --del ou --delete-during para solicitar este modo de exclusão aprimorado explicitamente). Veja também a opção --delete-delay que é uma escolha melhor do que usar --delete-after.

    A recursão incremental pode ser desabilitada usando a opção --no-inc-recursive ou seu alias --no-ir mais curto.

    Veja também https://rsync.samba.org para diferenças de versão específicas (role para baixo e confira os links de notícias de lançamento).

    • 88

  3. Você pode com 'pv' ( apt-get install pvcom Debian e Ubuntu). Recomendo monitorar o número de arquivos transferidos, pois a quantidade de dados transferidos não está correlacionada com o tamanho dos arquivos, mas sim no delta entre a origem e o destino. E a contagem de arquivos contará o mesmo progresso para um delta grande e outro com delta pequeno. O que significa que, em qualquer caso, a estimativa de ETA pode estar longe. O ETA baseado em tamanho só funciona se o seu destino estiver vazio, neste caso delta == tamanho da origem.

    A ideia geral é emitir uma linha por arquivo 'transferido' do rsync e contar essas linhas com 'pv':

    rsync -ai /source remote:/dest | pv -les [número de arquivos] >/dev/null

    Eu costumo fazer backup de sistemas de arquivos inteiros (por várias razões), neste caso você pode usar o muito mais barato dfpara obter o número de arquivos (em vez de duou findo que percorrerá sua hierarquia de origem outra vez após o rsync). A opção -x aparece para garantir que o rsync permaneça no mesmo sistema de arquivos de origem (e não segue outras montagens internas):

    rsync -aix /source remote:/dest | pv -les $(df -i /source | perl -ane 'print $F[2] if $F[5] =~ m:^/:') >/dev/null

    Se você quiser contar arquivos em /source de maneira geral, use find /source|wc -l(aviso novamente: pode ser lento e pesado em E/S).

    • 49

  4. Danakim está correto. Não há maneiras triviais de adicionar um indicador de progresso total.

    A razão para isso é que quando o rsync examina uma lista de arquivos para sincronizar, ele não sabe com antecedência quais arquivos precisarão ser alterados. Se você estiver fazendo transferências delta, os próprios deltas devem ser calculados com antecedência para dar uma visão total do trabalho que precisa ser feito.

    Em outras palavras, a maneira mais fácil de calcular quanto trabalho deve ser feito é realmente fazê-lo.

    • 40

  5. Para transferências longas, fico feliz em correr du -sdos dois lados. Mesmo watch -n1 du -s, se eu me sinto muito ansioso.

    watchexecuta um comando ( du -saqui) periodicamente (a cada 1 segundo aqui) e mostra a saída em tela cheia.

    • 31

  6. Basicamente não. Você só pode mostrar o progresso por arquivo com o sinalizador --progress , mas isso é tudo.

    Eu estou supondo que você pode escrever um wrapper em torno dele ou usar qualquer um dos patches que você já encontrar, mas você deve se perguntar se realmente vale a pena, você realmente precisa de um progresso total para o rsync?

    • 13

  7. Também pesquisei como mostrar o progresso total com o rsync e encontrei uma resposta útil neste post: https://stackoverflow.com/questions/7157973/monitoring-rsync-progress

    Basicamente, você pode usar --info=progress2 na versão dev do rsync 3.1.0 . Aqui está o que o doc disse:

    Há também uma opção --info=progress2 que gera estatísticas com base em toda a transferência, em vez de arquivos individuais. Use este sinalizador sem exibir um nome de arquivo (por exemplo, evite -v ou especifique --info=name0 se você quiser ver como está a transferência sem rolar a tela com muitos nomes. (Você não precisa especificar o -- opção de progresso para usar --info=progress2.)

    • 9

  8. Eu usei a resposta do zerodeux e escrevi meu próprio script bash:

    #!/bin/bash

RSYNC="ionice -c3 rsync"
# don't use --progress
RSYNC_ARGS="-vrltD --delete --stats --human-readable"
SOURCES="/dir1 /dir2 /file3"
TARGET="storage::storage"

echo "Executing dry-run to see how many files must be transferred..."
TODO=$(${RSYNC} --dry-run ${RSYNC_ARGS} ${SOURCES} ${TARGET}|grep "^Number of files transferred"|awk '{print $5}')

${RSYNC} ${RSYNC_ARGS} ${SOURCES} ${TARGET} | pv -l -e -p -s "$TODO"
    • 8

  9. Usar

    lsof -ad3-999 -c rsync

    Para ver quais arquivos o rsync está aberto no momento (mostrará o tamanho do arquivo), o rsync copia em um arquivo oculto localmente

    • 8

  10. Se você não tiver o rsync mais recente (por exemplo, o OS X tem 2.6.9) e não puder usar --info=progress2, aqui está outra alternativa para se salvar das páginas de rolagem de texto em andamento:

    rsync -aPh <source> <destination> | xargs -L1 printf "\33[2K\rTransferring: %s"

    Isso imprimirá, em uma linha, o nome do último arquivo que está sendo transferido:

    Transferring: the-latest.file

    • 8

relate perguntas