Início / unix / Perguntas / 454642
Accepted
benett
Asked: 2018-07-12 00:43:06 +0800 CST

Copia recursivamente apenas determinados diretórios que correspondem aos padrões listados em um arquivo

  • 772

Tenho um diretório com a seguinte estrutura:

-- 201893208
   └── 8Z12
          └── ko_8Z12_Full
          └── wp_we_8Z12_FullDAT
          └── 8Z12_DATFull
   └── P011
          └── P011_Full
          └── 8Z12_FullDAT
          └── P011_DATFull
   └── 9FZA
          └── kl_wt-we-w_kl9-9FZA_Full
          └── ffd-9FZA_FullDAT
          └── 8fdZ12232_9FZA_DATFull
-- 903240920
   └── P0fsa
          └── P0fsa_Full
          └── P0fsa_FullDAT
          └── P0fsa_DATFull
   └── Paaaf
          └── we-Paaaf_ww_fl_Full
          └── Paaaf_FullDAT
          └── Paaaf_DATFull
   └── 9FZATYYY
          └── 9FZATYYY_Full
          └── 9FZATYYY_FullDAT
-- wt0340291
   └── OPF1121
          └── OPF1121_Full
          └── 8Z12_DATFull
   └── KLOFJ9
          └── lop_KLOFJ9_ffj_Full
          └── powt_KLOFJ9_DATFull
   └── LP02323
          └── wr_we_LP02323_Full
          └── wr_we_LP02323_FullDAT

Existem milhares de arquivos em cada pasta listada acima. E também há muitos subdiretórios dentro de cada um. Por exemplo 8Z12, não contém apenas as três pastas listadas acima, mas também contém milhares de arquivos.

EU SÓ quero copiar diretórios que tenham _Fullno final de seu nome ( diretórios DATFull NÃO devem ser copiados ) E também contêm os padrões na lista abaixo

LP02323
KLOFJ9
Paaaf
9FZA

Em outras palavras, os diretórios que contêm uma string da lista acima E Full em seu nome (mas NÃO DAT) devem ser copiados.

Portanto, no exemplo acima, apenas os seguintes diretórios (e todos os seus conteúdos e subdiretórios) devem ser copiados:

wr_we_LP02323_Full
lop_KLOFJ9_ffj_Full
we-Paaaf_ww_fl_Full
kl_wt-we-w_kl9-9FZA_Full

No meu entendimento, rsyncnão suporta regex, portanto, isso deve ser feito findantes de tudo (corrija-me se estiver errado). Mas como posso fazer isso de forma a garantir que todos os diretórios e subdiretórios sejam verificados e todas as pastas relevantes sejam copiadas mesmo que estejam enterradas muito profundamente em vários subdiretórios (observe que o exemplo acima foi um simplificado estrutura da minha pasta original).

Então ficam duas perguntas:

  • Como posso fornecer a lista de padrões para find?
  • Como posso canalizar o resultado de findpara rsync?

Até agora, isso só me vem à mente para corresponder Full:

find . -regextype sed -regex ".*/.*[^DAT]Full$"

Mas como posso adicionar a lista de IDs a este findcomando?

find terminal

1 respostas

  1. Best Answer

    Usando um arquivo de strings que precisam estar presentes nos nomes dos diretórios, um shell loop sobre eles e rsync(supondo que queremos copiar do diretório na variável $sourcee para o diretório na variável $target):

    while IFS= read -r string; do
    rsync --archive --exclude='*DAT*/' --include='*/' --include="*$string*_Full/***" --exclude='*' \
        --prune-empty-dirs "$source"/ "$target"
done <strings.txt

    O que as opções rsyncfazem (o primeiro acerto em qualquer um dos padrões de exclusão/inclusão é importante):

    • --archive: Copia a propriedade, permissões, carimbos de data/hora etc.
    • --exclude='*DAT*/': Excluir qualquer diretório com DATem seu nome.
    • --include='*/': Considere todos os diretórios (exceto os excluídos pelo padrão anterior). Isso é necessário para rsyncalcançar os diretórios reais nos quais você está interessado.
    • --include="*$string*_Full/***": Considere todos os diretórios que correspondem ao padrão fornecido e tudo abaixo desse diretório. Se $stringfor parrot, isso seria --include="*parrot*_Full/***".
    • --exclude='*': Não considere nada que ainda não esteja explicitamente incluído.
    • --prune-empty-dirs: Não transfira diretórios que não tenham nada explicitamente incluído neles.

    Se você quiser ver como rsyncavalia os padrões ao executá-lo, adicione -vvà rsynclinha de comando.

    Teste:

    $ tree
.
|-- from
|   `-- a
|       `-- b
|           |-- c_A_DATFull
|           |   `-- file
|           |-- c_A_DAT_Full
|           |   `-- file
|           |-- c_A_Full
|           |   `-- file
|           |-- c_B_DATFull
|           |   `-- file
|           |-- c_B_DAT_Full
|           |   `-- file
|           |-- c_B_Full
|           |   `-- file
|           |-- c_C_DATFull
|           |   `-- file
|           |-- c_C_DAT_Full
|           |   `-- file
|           `-- c_C_Full
|               `-- file
`-- strings.txt

12 directories, 10 files

$ cat strings.txt
A
B

$ source=from
$ target=to

    (executando o loop aqui)

    $ tree
.
|-- from
[...]
`-- to
    `-- a
        `-- b
            |-- c_A_Full
            |   `-- file
            `-- c_B_Full
                `-- file

17 directories, 12 files

    Com uma única invocação de rsync:

    set -- --exclude='*DAT*/' --include='*/'
while IFS= read -r string; do
    set -- "$@" --include="*$string*_Full/***"
done <strings.txt
set -- "$@" --exclude='*'

rsync --archive "$@" --prune-empty-dirs "$source"/ "$target"

    Uma findsolução:

    set --
while IFS= read -r string; do
    set -- "$@" -o -name "*$string*_Full"
done <strings.txt
shift

# "$@" would now be something like
#    -name *LP02323*_Full -o -name *Paaaf*_Full -o -name ...etc

find "$source" -type d '(' "$@" ')' ! -name '*DAT*' -exec sh -c '
    source=$1; target=$2; shift 2
    for pathname do
        mkdir -p "$target/${pathname#$source}"
        rsync --archive "$pathname"/ "$target/${pathname#$source}"
    done' sh "$source" "$target" {} +

    Isso seria usado findpara gerar uma lista dos subdiretórios que você gostaria de copiar. Estes são dados a um pequeno script embutido que faz um loop sobre eles.

    Em cada iteração do loop, o diretório correspondente no destino é criado (isso pressupõe uma cópia local) e o diretório é copiado usando rsync.

    Nunca use findpara canalizar nomes de caminho para algum outro comando, a menos que você possa organizar para que os nomes de caminho sejam delimitados com segurança.

    Relacionado:

    • 2

relate perguntas