Início / unix / Perguntas / 463694
Accepted
Mark
Asked: 2018-08-21 11:05:59 +0800 CST

Parar condição de corrida de tarefa agendada rsync (diretório grande, intervalo de tempo pequeno)

  • 772

Informações da plataforma:

OpenBSD 6.2 amd64

$ rsync --version rsync version 3.1.2 protocol version 31

Estou tentando sincronizar um diretório grande (4 TB) usando o seguinte daily.localarquivo (para administradores do Linux, isso é essencialmente uma tarefa diária do cron):

#!/bin/sh
# Sync the primary storage device to the backup disk
/usr/local/bin/rsync -avz /mnt/media_primary/ /mnt/media_backup/

A cópia rsync inicial leva mais de um dia. Depois de um dia ou dois, acabo com várias cópias em execução do rsync na minha lista de processos: novos são iniciados conforme programado e esses novos processos parecem estar competindo entre si e não terminando a tarefa (pelo menos rapidamente)!

Existe uma maneira de tornar um novo processo rsync ciente de outros processos rsync (ou outra maneira de evitar condições de corrida rsync)?

Eu sei que poderia simplesmente executar o rsync manualmente para copiar o diretório pela primeira vez e/ou aumentar o intervalo de tempo agendado. Esta pergunta é mais do meu interesse, pois não consegui encontrar informações na net sobre esse tópico.

backup rsync

2 respostas

  1. Uma solução que seria um pouco semelhante à solução de Mark , mas sem exigir alterações nos /etc/fstabsistemas de arquivos de montagem e desmontagem:

    #!/bin/sh

lockdir=/tmp/file-copy.lock

if ! mkdir "$lockdir"; then
   echo 'File copy already in progress' >&2
   exit 1
fi

trap 'rmdir "$lockdir"' EXIT

PATH=$PATH:/usr/local/bin

rsync -ai ...

    Algumas notas sobre isso:

    1. O mkdiré uma operação atômica, muito parecida com mount, que falhará se o diretório já existir, mas criará o diretório se não existir. Isso é mais seguro do que primeiro verificar um arquivo de bloqueio e depois criá-lo (duas etapas com a possibilidade de uma condição de corrida intermediária).

    2. O EXITtrap garante que o diretório de bloqueio seja excluído quando o script for encerrado. O diretório de bloqueio também seria excluído nas reinicializações (pelo sistema), pois está em /tmp.

    3. Defino PATHo valor apropriado em vez de chamar rsynccom seu caminho completo. Isso é puramente cosmético, mas pode ser útil se o script for expandido posteriormente para usar outros comandos da coleção de ports do OpenBSD (como resticou borgbackup).

    4. A -zopção para rsyncé realmente necessária apenas em conexões de rede muito lentas (quando a compactação/descompactação de dados é feita mais rapidamente que a largura de banda da rede) e nunca para cópia local. Também costumo preferir -i( --itemize-changes) a -v( --verbose), pois isso me dirá exatamente por que um arquivo foi transferido.

    Para fazer backup de grandes quantidades de dados com segurança, geralmente eu recomendaria usar um software de backup escrito com propósito sobre rsync, como resticou borgbackup. Esses dois também fazem a desduplicação e a criptografia de dados e, borgbackupopcionalmente, podem fazer a compactação. resticé bom no sentido de que permite salvar backups em um servidor externo (por exemplo sftp, ), mesmo que esse servidor não tenha resticinstalado, enquanto borgbackupexige que o software seja instalado no sistema de destino. Ambos restice borgbackuptratam do bloqueio do repositório de backup.

    • 3
  2. Best Answer

    Uma maneira de contornar esse problema (se o diretório de backup estiver em sua própria partição) é deixar o volume desmontado, montando logo antes de iniciar o comando rsync. Isso nega a necessidade de uso flocke pode ter o benefício de prolongar a longevidade da unidade/reduzir o consumo de energia.

    /etc/fstab: adicione a noautoopção à partição para que ela não seja montada automaticamente na inicialização

    Na tarefa daily.localou cron.dailyagendada:

    #!/bin/sh
mount /mnt/media_backup && \
/usr/local/bin/rsync -avz /mnt/media_primary/ /mnt/media_backup/ && \
umount /mnt/media_backup

    O operador de e comercial duplo ( &&) só iniciará o próximo comando se o comando anterior for bem-sucedido. Portanto, se o disco de backup não puder ser montado (porque já está montado e o rsync já está sendo executado na partição), o restante do comando não prosseguirá.

    • 1

relate perguntas