Início / user-7600

Martin KS's questions

Martin Hope
Martin KS
Asked: 2018-09-04 07:13:03 +0800 CST
  • 1

Eu tenho um servidor CCTV que é copiado diariamente para um servidor ftp remoto usando um comando lftp. O servidor CCTV salva vídeos em uma nova pasta todos os dias, o backup é executado uma vez por dia à 1h, portanto, cada backup afeta apenas 2 pastas. Após 28 dias, as cópias locais são todas excluídas.

O comando que uso atualmente é:

mirror --reverse --use-cache --allow-chown --allow-suid --no-umask --verbose

A taxa de transferência de arquivos ao mover arquivos tem sido consistente por 2 anos, mas a espera entre as pastas está aumentando lentamente. Isso significa que, embora a taxa de transferência de arquivos seja de 1 Mb/s, se você tomar o tempo que o backup de 2 GB leva por dia, a velocidade média após 2 anos agora é de 0,5 Mb/s.

Alguma coisa no meu comando está causando o inchaço do processo? --use-cachepor exemplo?

Eu poderia ter o comando mirror para executar um thread por pasta para que ele possa carregar o conteúdo da pasta enquanto carrega outros arquivos?

lftp ftp
Martin Hope
Martin KS
Asked: 2017-12-22 04:15:02 +0800 CST
  • 0

Tenho feito backup de arquivos de uma câmera CCTV para um diretório FTP sem realmente pensar nisso por cerca de 6 meses e, inadvertidamente, criei um diretório com cerca de 100.000 arquivos.

Esta semana decidi fazer algo a respeito, pois agora sempre que executo o script de backup ele trava por 30 minutos enquanto baixa a lista de arquivos necessária para a mirroroperação.

Minha primeira ação foi criar um pequeno script para usar lspara ecoar todos os nomes de arquivo naquele diretório para um arquivo. Em seguida, executei esse arquivo nas planilhas do Google para extrair subpartes do nome do arquivo a partir das quais criar subpastas mais gerenciáveis. Quando fiz o script de teste abaixo para mover o primeiro arquivo, recebo mv: Access failed: 501 File not found (ARC20170315113818.mp4):

#!/bin/bash

# @description: attempt to move file to new folder

#FTP login details
HOST=####
USER=####
PASSWORD=####

lftp -u "$USER","$PASSWORD" $HOST << EOF


cd /CCTVArchive/V2/192.168.0.24/webdav/sdcard/alarm

mv ARC20170314180647.mp4 2017/03/14/



bye

EOF

Existe uma razão para isso lse mvteria uma opinião diferente sobre quais arquivos existem?

Obrigado

lftp