Início / unix / Perguntas / 510795
Accepted
dylanjm
Asked: 2019-04-06 11:50:19 +0800 CST

Use scp para copiar arquivos de extensão específica do diretório

  • 772

Estou escrevendo um script bash que precisa buscar tudo *_out.csvde um diretório, em um servidor remoto. Todos esses arquivos são vários diretórios dentro de outro diretório. Por exemplo, digamos que o diretório seja chamado ox_20190404/. Eu posso encontrar todos os meus arquivos indo:

find ox_20190404/assessment/LWR/validation -type f -name "*_out.csv"

Esta pergunta responde parte da minha pergunta , mas como não quero copiar o diretório inteiro, preciso descobrir como implementar o código acima. Suponha que eu comece com isso:

$ dir="/projects/ox/git"
$ server="myusername@server"
$ scp $server:$dir/$(ssh $server 'ls -t $dir | head -1') .

Como eu pegaria os arquivos que preciso de lá?

A última parte da minha pergunta se pergunta se existe uma maneira de pegar todos os arquivos copiados e colocá-los no mesmo caminho de arquivo e diretório em que estavam no servidor remoto.

bash shell-script

3 respostas

  1. Eu ajustei alguns de seus nomes de variáveis ​​um pouco.

    Certamente existem maneiras melhores de fazer isso do que algo perigoso como analisar a saída de ls , mas veja se isso funciona para você:

    $ pth="/projects/ox/git"
$ server="myusername@server"
$ dir="$(ssh $server "ls -t \"$pth\" | head -1")"
$ mkdir -p "$pth/$dir"
$ scp -p $server:"$pth/$dir"/'*_out.csv' "$pth/$dir"/

    Depois dirde definido para o diretório remoto mais recente, mkdir -pé usado para garantir que o mesmo nome de diretório exista localmente. Em seguida, scpos arquivos em um diretório local com o mesmo caminho e nome do diretório remoto. Eu estava procurando uma solução rsync, mas não conseguia pensar em uma.

    • 1

  2. Isso encontrará o diretório modificado (criado) mais recentemente, supondo que o nome do diretório não contenha uma nova linha ( \n)

    newest=$(
    ssh -qn REMOTE 'find ./* -mindepth 0 -maxdepth 0 -type d -printf "%T@\t%f\n"' |
    sort -t$'\t' -r -nk1,2 |
    head -n1 |
    cut -f2-
)

    Se você puder garantir que o destino contém apenas diretórios de interesse, poderá simplificá-lo consideravelmente (novamente, tendo em mente o problema da nova linha)

    newest=$(ssh -qn REMOTE ls -t | head -n1)

    Você pode copiar uma árvore inteira de arquivos usando scp, mas se quiser filtrá-lo, provavelmente será melhor usarrsync

    rsync -av --include '*/' --include '*_out.csv' --exclude '*' --prune-empty-dirs REMOTE:"$newest" "$newest"

    Se você está mantendo o conjunto anterior de arquivos localmente e realmente deseja adicionar o conjunto mais recente sem copiar os anteriores, rsynctambém pode fazer isso

    rsync -av --include '*/' --include '*_out.csv' --exclude '*' --prune-empty-dirs REMOTE: .
    • 0
  3. Best Answer

    Este é o código que acabou funcionando para mim. Eu posso não ter descrito minha pergunta perfeitamente, mas não estava tendo problemas para encontrar o diretório alterado mais recentemente. Meu problema foi encontrar todos os arquivos nesse diretório e garantir que eles terminassem no lugar certo na minha máquina local. Aqui está o script bash para fazer isso:

    # Grab the most recently updated ox file off of server; return as string
# in the form of ox_XXXXXXXX/assessment/LWR/validation/*
newest=$(
    ssh -qn username@server 'find /projects/ox/git/* -mindepth 0 -maxdepth 0 -type d -printf "%T@\t%f\n"' |
    sort -t$'\t' -r -nk1,2 |
    head -n1 |
    cut -f2- |
    awk '{print "/projects/ox/git/"$1"/assessment/LWR/validation/HBEP/analysis/BK363/*"}'
      )

# Take $newest and find all associated *_out.csv files beneath that directory
newestf=$(
    ssh -qn username@server "find $newest -type f -name '*_out.csv'"
    )

# Write these filepaths to a .csv on the local machine
echo "$newestf" | tr " " "\n" remote_fp.csv

# Run Rscript to parse and transform the filepaths so they go to the write place on local machine
Rscript ~/transform_fp.R

# Read content from .csv remote file paths - we'll need these to actually pull the files using scp
get_scp_fp=$(awk -F "\"*,\"*" '{print $1}' ~/remote_fp.csv)

# Read content from .csv local file paths - we'll need these to actually write the data locally
get_local_fp=$(awk -F "\"*,\"*" '{print $1}' ~/local_fp.csv)

# Loop through file paths and pull data from remote to local. 
for i in $get_scp_fp; do
    for j in $get_local_fp; do
    scp -p username@server:"$i" "$j"
    done
done

    Rscript:

    suppressPackageStartupMessages(library(tidyverse))

test <- read_csv("remote_fp.csv", col_names = FALSE)

str_replace_all(test$X1, "/projects/ox/git/ox_[0-9]{8}", "~/Documents/projects/ox") %>% 
  str_replace_all("(?:analysis).*$", paste0("doc/figures/", basename(.))) %>% 
  tibble() %>% 
  write_csv(path = "~/local_fp.csv", col_names = FALSE)
    • 0

relate perguntas