Início / unix / Perguntas / 480279
Accepted
stdcerr
Asked: 2018-11-07 20:08:38 +0800 CST

Copie apenas arquivos de uma data específica do armazenamento s3

  • 772

Eu gostaria de copiar apenas arquivos do S3 que são de hoje de um determinado bucket com 100s de arquivos. Tentei o seguinte: $ aws s3 ls s3://cve-etherwan/ --recursive --region=us-west-2 | grep 2018-11-06 | awk '{system("aws s3 sync s3://cve-etherwan/$4 . --region=us-west-2") }'mas não funciona bem, também recebo arquivos de outras datas. Como faço isso corretamente?

file-copy date

3 respostas

  1. Best Answer

    Isso porque no segundo aws s3você usa sync. Tente cpem vez disso. Além disso, você pode mesclar o "grep" e o "awk" juntos.

    $ aws s3 ls s3://cve-etherwan/  --recursive | awk '/^2018-11-06/{system("aws s3 cp s3://cve-etherwan/$4 .") }'
    • 1

  2. Isto é o que funcionou para mim

    • adicionou uma restrição de horário, aqui estou selecionando para 8:00 às 8:30 em 12/12/19
    • modificou ligeiramente a parte awk, removendo o erro de digitação
    • em vez de chamar system n vezes do awk, crie uma saída de texto e canalize-a através do bash

    Sim, tenha cuidado com a tubulação no bash :-)

    aws s3 ls --recursive s3://cve-etherwan/ 
| awk '/^2019-12-12 08:[0-3]/{
     print "aws s3 cp s3://cve-etherwan/"$4" ."}'  
| bash
    • 0

  3. A resposta do Mlu funcionou para mim, mas tive que escapar dos US $ 4 no Amazon Linux 2.

    aws s3 ls s3://my-files --recursive --region=eu-west-1 |
  awk '/^2021-01/{system("aws s3 cp s3://my-files/" $4 " .")}'

    com

    • "aws s3 cp s3://my-files/$4 ."substituído por"aws s3 cp s3://my-files/" $4 " ."

    • awkirá concatenar a string por padrão.

    • 0

relate perguntas