Início / unix / Perguntas / 699635
Accepted
halloleo
Asked: 2022-04-20 18:26:24 +0800 CST

Como comparar arquivos enormes com informações de progresso

  • 772

Em um contexto de linha de comando Unix, gostaria de comparar dois arquivos realmente grandes (cerca de 1 TB cada), preferivelmente com um indicador de progresso.

Eu tentei diffe cmp, e ambos travaram o sistema (macOS Mojave), muito menos me dando uma barra de progresso.

Qual é a melhor maneira de comparar esses arquivos muito grandes?

Detalhes adicionais:

  1. Eu só quero verificar se eles são idênticos.

  2. cmptravou o sistema de uma forma que o sistema reiniciou sozinho. :-( Talvez o sistema ficou sem memória?

command-line file-comparison

3 respostas

  1. Se você deseja obter informações sobre o fato de serem idênticos ou não, uma maneira possível é usar hash. Comando como este lhe dará sha1hash de arquivos:

    shasum file1 file2

    O resultado esperado é algo como:

    ddfdb3a7fc6fc7ca714c9e2930fa685136e90448 file1
ddfdb3a7fc6fc7ca714c9e2930fa685136e90448 file2
    • 2
  2. Best Answer

    Você pode usar pvcomo um indicador de progresso e canalizá-lo para a shasumfunção para verificar o hash para ver se eles são idênticos.

    pv file1 | shasum
1.08MiB 0:00:00 [57.5MiB/s] [====================================>] 100%            
303462e848ecbec5f8ab12718fa6239713eda1c6  -

pv file2 | shasum
1.08MiB 0:00:00 [57.5MiB/s] [====================================>] 100%            
303462e848ecbec5f8ab12718fa6239713eda1c6  -
    • 1

  3. Você pode estimar o tempo total cortando alguns GB de cada arquivo, cronometrando-o e aumentando a escala adequadamente. Uma barra de progresso também precisa contar bytes -- ela pode estender o tempo em 50% sozinha.

    Na verdade, você pode usar um loop para cortar os arquivos em 100 seções (usando dd, ou head -c + tail -c, com pipes), usar sua ferramenta de comparação preferida e relatar cada seção.

    Vantagens:

    (a) Fornece um relatório de progresso em intervalos de 1%.

    (b) Se houver diferenças no início, você obtém sua resposta mais cedo e pode sair do loop sem verificar o restante do arquivo.

    (c) Comparar arquivos de 10 GB provavelmente não reinicializará seu sistema.

    (d) Você pode adaptar isso para fazer uma análise mais detalhada das regiões conhecidas do arquivo: dividir e conquistar.

    (e) Você pode atribuir seções do intervalo de endereços a várias CPUs.

    • 1

relate perguntas