Ferramentas como fdupes são um exagero ridículo ao lidar com arquivos compactados jpg ou h264. Dois desses arquivos com exatamente o mesmo tamanho de arquivo já é uma boa indicação de que eles são idênticos.
Se, digamos, além disso, 16 pedaços equidistantes de 16 bytes forem extraídos e comparados e eles também forem iguais, isso seria bastante evidência para eu supor que eles são idênticos. Existe algo assim?
(A propósito, estou ciente de que o tamanho do arquivo por si só pode ser um indicador pouco confiável, pois existem opções para compactar para determinados tamanhos de destino, como 1 MB ou 1 CD/DVD. Se o mesmo tamanho de destino for usado em muitos arquivos, é bastante razoável que alguns arquivos diferentes terão exatamente o mesmo tamanho.)