Início / unix / Perguntas / 779358
Accepted
cheersmate
Asked: 2024-07-02 15:53:05 +0800 CST

encontre com du -sch e muitos arquivos

  • 772

Tenho uma estrutura de pastas grande e preciso obter o tamanho de um determinado subconjunto. Os diretórios que preciso contar são definidos por terem subdiretórios específicos:

find . \( -iname a -or ... \) -printf "\"%h\"\n" | xargs -- du -sch | sort -rh

Isso funciona bem até certo ponto. Mas quando há muitas pastas, obtenho vários totais no resultado (usar echoem vez de duwith xargsmostra que a saída está dividida em várias linhas, ou seja, chamadas para du).

Isto provavelmente é causado por alguns limites de buffer. Existe alguma maneira de contornar isso, para que eu obtenha apenas um único tamanho total na saída?

shell-script

2 respostas

  1. Best Answer

    Sua citação não faz sentido, a saída findnão é interpretada por um shell; nem usar \ncomo separador; você deve sempre usar \0zero byte como separador e usar xargswith -0; o byte zero nunca pode fazer parte de um nome ou caminho de arquivo!

    De qualquer forma, isso pode não resolver o problema em questão:

    As linhas de comando têm um comprimento máximo; portanto, ter uma única chamada ducom muitos parâmetros pode ser simplesmente impossível.

    Se você possui GNU coreutils du(provavelmente possui se estiver em um Linux completo, du --versiondiria), você pode usar du --files0-from=para ler os arquivos de um arquivo, ou especificamente, da entrada padrão, ao usar -como nome de arquivo:

    find . \( CRITERIA \) -printf '%h\0' | du -sch --files0-from=- | sort -rh

    Stéphane ressalta que faria mais sentido remover as duplicatas dos arquivos antes de serem processados:

    find . \( CRITERIA \) -printf '%h\0' | LC_ALL=C sort -zu | du -sch --files0-from=-

    LC_ALL=Cinstrui o sort a usar o "locale padrão inglês-UNIX" para classificação. Geralmente é uma boa ideia evitar ordens diferentes dependendo do idioma do usuário.

    • 5

  2. Eu resolveria no TXR Lisp assim. Digamos que os diretórios que queremos encontrar sejam caracterizados por terem subdiretórios chamados alphae :betagamma

    (let* ((dirs (glob* "**/{alpha,beta,gamma}/"))
       (total 0)
       (sizes (each ((d dirs))
                (ftw (dir-name d)
                     (lambda (path type stat . others)
                       (inc total stat.blocks)
                       nil)))))
  (prinl (* 512 total)))

    Como estamos usando a **expansão de estrela dupla e chave, devemos usar a glob*função; a globfunção é um wrapper quase direto para a função da biblioteca POSIX C de mesmo nome; glob*implementa os recursos adicionais além disso.

    A barra final em nosso padrão glob garante que apenas os diretórios sejam correspondidos; um arquivo ou outro objeto nomeado gammanão conta.

    Depois de identificarmos os diretórios correspondentes, iteramos sobre seus pais (com a ajuda de dir-name) e processamos recursivamente cada um deles usando ftw, somando os tamanhos dos objetos visitados multiplicando sua contagem total de blocos por 512.

    Para contar inodes duplicados (links físicos para o mesmo arquivo) apenas uma vez:

    (let* ((dirs (glob* "**/{alpha,beta,gamma}/"))
       (ihash (hash))
       (total 0)
       (sizes (each ((d dirs))
                (ftw (dir-name d)
                     (lambda (path type stat . others)
                       (when (test-set [ihash stat.ino])
                         (inc total stat.blocks))
                       nil)))))
  (prinl (* 512 total)))

    Isto é necessário não apenas se houver links físicos, mas possivelmente se o mesmo diretório aparecer mais de uma vez. Suponha que temos path/to/gammae path/to/beta. O pai deles é o mesmo diretório; acabamos processando duas vezes. O código poderia ser melhorado para evitar isso, mas o hash do inode evitará pelo menos a contagem dupla.

    • 0

relate perguntas