Como comparar dois diretórios e excluir arquivos duplicados

Usando fdupes:

fdupes --delete dir1 dir2

fdupesnão testará o nome ou o tipo de arquivo, mas testará o tamanho e o conteúdo do arquivo (que implicitamente inclui o tipo de arquivo).

Exemplo:

$ mkdir dir1 dir2

$ touch dir{1,2}/{a,b,c}

$ tree
.
|-- dir1
|   |-- a
|   |-- b
|   `-- c
`-- dir2
    |-- a
    |-- b
    `-- c

2 directories, 6 files

$ fdupes --delete dir1 dir2
[1] dir1/a
[2] dir1/b
[3] dir1/c
[4] dir2/a
[5] dir2/b
[6] dir2/c

Set 1 of 1, preserve files [1 - 6, all]: 1

   [+] dir1/a
   [-] dir1/b
   [-] dir1/c
   [-] dir2/a
   [-] dir2/b
   [-] dir2/c

$ tree
.
|-- dir1
|   `-- a
`-- dir2

2 directories, 1 file

Tomei exemplo de 2 diretórios p1 e p2

Primeiro, salvarei a saída dos nomes dos arquivos dos diretórios p1 e p2 em 2 arquivos de saída

find /root/p1 -type f |awk -F "/" '{print $NF}'   > /var/tmp/P1_file.txt

 find /root/p2 -type f |awk -F "/" '{print $NF}'   > /var/tmp/P2_file.txt

Agora vou encontrar os nomes de arquivos comuns em ambos os diretórios e excluir em um dos diretórios. Desejo que você exclua os arquivos duplicados em /root/p1 e mantenha os arquivos em /root/p2

awk 'NR==FNR {a[$1];next}($1 in a) {print $1}' /var/tmp/P1_file.txt /var/tmp/P2_file.txt  |awk '{print "rm -rvf" " " "/root/p1/"$1}' | sh

Testado e funcionou bem

Eu sugiro que você use o dircmpque existe em muitos Unixes.

Ver:

man dircmp

A -dopção parece ser a que você pode achar mais adequada:

dircmp -d dir1 dir2

irá comparar o conteúdo de dir1e dir2exibirá uma diffsaída semelhante.

Você tem muitas opções para sua tarefa. Em vez de repetir as recomendações daqueles que responderam antes de mim, adicionarei uma com uma aparência diferente com a qual você pode se sentir mais confortável.

Se você se sentir confortável usando o midnight commander, que é um gerenciador de arquivos de painel duplo baseado em ncurses para o console, esse programa inclui um recurso gráfico de comparação de diretórios.

O procedimento para usá-lo é começar com cada diretório visível em um painel e, em seguida, pressionar C-x d(a combinação de teclas padrão) ou F9 c c(as teclas de atalho padrão para o item de menu).

Aqui está um trecho editado da mcpágina do manual que descreve o comando e seus três modos de operação:

  The "Compare directories" command compares the directory panels with
  each other. You can then use the Copy (F5) command to make the panels
  identical. There are three compare methods. The quick method compares
  only file size and file date. The thorough method makes a full
  byte-by-byte compare. The size-only compare method just compares the
  file sizes and does not check the contents or the date times, it just
  checks the file size.

Quando a comparação terminar, mcirá selecionar e destacar visualmente os arquivos exclusivos do diretório atual. Assim, pressionando F5irá copiá-los para o outro painel. Para excluir os arquivos comuns a ambos os diretórios, pressione *para alternar a seleção (e observe como mcagora destaca o inverso do que foi destacado antes) e pressione F8para excluir.

rmlint tem opções para fazer isso:

rmlint -T duplicates --match-basename --keep-all-tagged --must-match-tagged /duplicates // /originals

(o separador '//' identifica caminhos "marcados" para as opções --keep-all-tagged e --must-match-tagged )

Depois de encontrar duplicatas, o rmlint cria um script executável rmlint.sh que você pode executar (após a verificação) para excluir as duplicatas.

Percebi que você marcou sua pergunta como ubuntunormalmente vem com uma área de trabalho gráfica, então aqui estão algumas opções de área de trabalho gráfica:

1) Se você estiver usando o nautillusgerenciador de arquivos, existe um pacote ubuntu chamado nautilus-compareque integra uma comparação de diretórios no gerenciador de arquivos que você já usa.

2) Também existe um programa autônomo chamado meldque executa comparações de arquivos e diretórios.

Executar qualquer comando com a --deleteopção me deixa nervoso, então escrevi o script a seguir para procurar arquivos COMPARTILHADOS por $ DIR1 e $ DIR2, mas apenas moverá os arquivos de $ DIR1 para uma pasta de lixo para revisão posterior, deixando arquivos exclusivos atras do. Ele também preserva a estrutura de diretórios na pasta de lixo, facilitando a recuperação.

IFS=$'\n'
for file in `jdupes -r -T -T "$DIR1" "$DIR2" | awk -v p1="$DIR1" -v p2="$DIR2" '$0 ~ p1 && $0 ~ p2'  RS="\n\n" ORS="\n\n" | grep "$DIR1"`; do
    echo "$file" | grep -q "^$DIR1/duplicated_files/" && continue
    output="$DIR1/duplicated_files/`dirname "$file" | awk -v p="$DIR1/" '{sub(p, "")}1'`"
    mkdir -p "$output"
    echo "Moving $file"
    mv "$file" -t "$output"
done

Isso deixará diretórios vazios que podem ser excluídos com:

find "$DIR1" -type d -empty -printf "Deleting empty folder: " -print -delete