Copie a estrutura de diretórios intacta para o bucket do AWS S3

Eu acredito que a sincronização é o método que você deseja. Tente isso em vez disso:

aws s3 sync ./logdata s3://bucketname/

O seguinte funcionou para mim:

aws s3 cp ~/this_directory s3://bucketname/this_directory --recursive

A AWS então "criará" this_directorye copiará todo o conteúdo local para ele.

Eu enfrentei esse erro ao usar um desses comandos.

$ aws s3 cp --recursive /local/dir s3://s3bucket/
OR
$ aws s3 sync /local/dir s3://s3bucket/

Eu até pensei em montar o bucket do S3 localmente e, em seguida, executar o rsync, mesmo que tenha falhado (ou tenha travado por algumas horas), pois tenho milhares de arquivos.

Finalmente, s3cmd funcionou como um encanto.

s3cmd sync /local/dir/ --delete-removed s3://s3bucket/ --exclude="some_file" --exclude="*directory*"  --progress --no-preserve

Isso não apenas faz o trabalho bem e mostra uma saída bastante detalhada no console, mas também carrega arquivos grandes em partes.

(Melhorando a solução de Shishir )

• Salve o seguinte script em um arquivo (chamei o arquivo s3Copy.sh)

path=$1 # the path of the directory where the files and directories that need to be copied are located
s3Dir=$2 # the s3 bucket path

for entry in "$path"/*; do
    name=`echo $entry | sed 's/.*\///'`  # getting the name of the file or directory
    if [[ -d  $entry ]]; then  # if it is a directory
        aws s3 cp  --recursive "$name" "$s3Dir/$name/"
    else  # if it is a file
        aws s3 cp "$name" "$s3Dir/"
    fi
done

• Execute-o da seguinte forma:
  /PATH/TO/s3Copy.sh /PATH/TO/ROOT/DIR/OF/SOURCE/FILESandDIRS PATH/OF/S3/BUCKET
  Por exemplo, se s3Copy.shestiver armazenado no diretório inicial e eu quiser copiar todos os arquivos e diretórios localizados no diretório atual, executo isso:
  ~/s3Copy.sh . s3://XXX/myBucket

Você pode modificar facilmente o script para permitir outros argumentos s3 cpcomo --include, --exclude, ...

Use o seguinte script para copiar a estrutura de pastas:

s3Folder="s3://xyz.abc.com/asdf";

for entry in "$asset_directory"*
do
    echo "Processing - $entry"
    if [[ -d  $entry ]]; then
        echo "directory"
        aws s3 cp  --recursive "./$entry" "$s3Folder/$entry/"
    else
        echo "file"
        aws s3 cp "./$entry" "$s3Folder/"
    fi
done

Não consegui s3 syncou s3 cptrabalhar em uma pasta de 55 GB com milhares de arquivos e mais de 2 dúzias de subdiretórios dentro. Tentar sincronizar a pasta inteira faria com que o awscli falhasse silenciosamente sem carregar nada no bucket.

Acabei fazendo isso para primeiro sincronizar todos os subdiretórios e seus conteúdos (a estrutura da pasta é preservada):

nice find . -mindepth 1 -maxdepth 1 -type d | cut -c 3- | while read line; do aws s3 sync $"$line" "s3://bucketname/$line"; done

Então eu fiz isso para obter os 30.000 arquivos no nível superior:

nice find . -mindepth 1 -maxdepth 1 -type f | cut -c 3- | while read line; do aws s3 cp "$line" "s3://bucketname/";

Certifique-se de observar a carga no servidor (protip que você pode usar wapenas para mostrar a carga) e ctrl-zsuspender o comando se a carga ficar muito alta. ( fgpara continuar de novo).

Colocando isso aqui no caso de ajudar alguém em uma situação semelhante.

Notas:

-mindepth 1exclui.

-maxdepth 1impede find de listar o conteúdo de subdiretórios, uma vez que s3 syncos trata com sucesso.

cut -c 3-remove o "./" do início de cada resultado de find.

Alternativamente, você também pode tentar o cliente minio, também conhecido como mc

$ mc cp Desktop/test/test/test.txt s3/miniocloud/Desktop/test/test/

Espero que ajude.

PS: Eu sou um dos colaboradores do projeto.

Isso funciona para mim .. aws s3 sync mydir s3://rahuls-bucket/mydir