Início / unix / Perguntas / 495506
Accepted
neverMind9
Asked: 2019-01-20 11:15:58 +0800 CST

Verifique a integridade dos dados após copiar milhares de arquivos [duplicados]

  • 772

Copiei milhares de arquivos em um cartão exFAT MicroSD.

O número de arquivos e bytes é idêntico, mas como saber se os dados estão corrompidos ou não?

Seria bom se o JackPal Android Terminal também suportasse o comando.

storage data

5 respostas

  1. Usar somas MD5 é uma boa maneira, mas a maneira canônica de usá-la é:

    1. cdpara o diretório dos arquivos de origem e emita:

      md5sum * >/path/to/the/checksumfile.md5

    Se você tiver diretórios com muitos níveis, poderá usar shopt -s globstare substituir *por **/*.

    Observe que as especificações de arquivo no arquivo MD5 são exatamente como fornecidas na linha de comando (caminhos relativos, a menos que seu padrão comece com /).

    1. cdpara o diretório dos arquivos copiados e emita:

      md5sum -c /path/to/the/checksumfile.md5

    Com -c, md5sumlê as especificações do arquivo no arquivo MD5 fornecido, calcula o MD5 desses arquivos e os compara com os valores do arquivo MD5 (e é por isso que as especificações do arquivo geralmente são relativas, para que você possa reutilizar o MD5 arquivo em arquivos em vários diretórios).

    O uso da soma MD5 dessa maneira informa imediatamente sobre as diferenças do MD5 e também sobre os arquivos ausentes.

    • 19
  2. Best Answer

    Desmonte, ejete e remonte o dispositivo. Então use

    diff -r source destination

    Caso você costumava rsyncfazer a cópia, rsync -n -cpode ser muito conveniente e é quase tão bom quanto o diff. Porém, ele não faz uma comparação bit a bit; ele usa uma soma de verificação MD5.

    Existem algumas respostas semelhantes com outros detalhes em: Verificando um diretório grande após a cópia de um disco rígido para outro

    • 13 
  3. rsync -rc original-dir/ copied-dir/

    -cfaz com que o rsync compare arquivos pela soma de verificação MD5 (sem ela, normalmente usa apenas o timestamp e o tamanho para comparações mais rápidas).

    Isso também fará com que o rsync copie o que estiver diferente ou ausente do destino. Para evitar isso, você também pode usar -ne -i. O primeiro garante que o rsync não faça nenhuma alteração e apenas compare, e o último faz com que ele exiba as diferenças que vê.

    Por exemplo, tenho os seguintes diretórios:

    $ find dir1/ dir2/
dir1/ dir2/
dir1/
dir1/d
dir1/d/a
dir1/d/b
dir1/c
dir2/
dir2/d
dir2/d/a
dir2/d/b

    E isto:

    $ rsync -rcni dir1/ dir2/
>f+++++++++ c
>fc.T...... d/b

    Diz-me, por meio de todos esses +s, que o arquivo cnão existe em dir2, e o arquivo existe d/b, mas é diferente (indicado pelo cna primeira coluna). O Tdiz que é hora seria atualizado (se não tivéssemos usado -n).

    O formato da -isaída de 's é descrito na página de manual do rsync. Você pode man rsyncchegar à parte que explica essa saída digitando /--itemize-changes$(e pressionando Enter).

    • 8

  4. Junto com as outras boas respostas acima, gostaria de recomendar também considerar o hashdeep, de http://md5deep.sourceforge.net/ . Ele tem uma base de usuários de bom tamanho na comunidade científica, onde eles frequentemente precisam fazer esse tipo de coisa com terabytes de dados espalhados por milhares de diretórios.

    • 5

  5. É possível gerar hashsums para arquivos individuais e produzi-los em um arquivo de texto, do qual o hash MD5 pode ser gerado. Para esse arquivo de texto, você pode usar qualquer função de hash que desejar, porque o tamanho dessa lista de hash não é grande o suficiente para causar qualquer diferença de desempenho perceptível ao usar funções de hash mais difíceis, como sha512sum.
    Eu uso cksumdevido à sua disponibilidade universal ( sume crc32não estão incluídos no Terminal Android do JackPal) e velocidades máximas. Não é um algoritmo criptográfico e seguro como o sha512sum, mas qualquer função de hash é boa o suficiente para verificar a integridade dos dados em um ambiente offline. No entanto, se você deseja que todos os hashes de arquivo tenham o mesmo comprimento (ou seja, 32), use , o seguromd5sum universalmente suportado mais rápidoalgoritmo hash (embora seja mais antigo, é muito mais rápido que qualquer algoritmo sha e fará seu trabalho).

    Execute estes comandos na origem e no destino:

    cksum /path/to/folder/* | tee -a hash.files.txt |cut -f 1 -d " " >>hash.list.txt #extracts pure hashsum string only for the output, to hide the different file path.
md5sum hash.list.txt

    …ou com um único comando:

    cksum /path/to/folder/* | tee -a hash.files.txt | cut -f 1 -d " " | tee -a hash.list.txt | sort | md5sum

    O nome dos arquivos de lista de hashsum ( hash.list.txt e hash.files.txt no meu exemplo) pode ser qualquer coisa que você especificar. Gerando dois arquivos para poder identificar arquivos danificados (o primeiro arquivo contém os nomes dos arquivos também, o segundo arquivo é para comparação).

    sortporque she bashimplementar a classificação alfabética de forma ligeiramente diferente. sortcompensa isso.

    • 4

relate perguntas