Início / server / Perguntas / 84815
Accepted
Garret Heaton
Asked: 2009-11-15 16:40:45 +0800 CST

Como posso obter o tamanho de um bucket do Amazon S3?

  • 772

Gostaria de representar graficamente o tamanho (em bytes e número de itens) de um bucket do Amazon S3 e estou procurando uma maneira eficiente de obter os dados.

As ferramentas s3cmd fornecem uma maneira de obter o tamanho total do arquivo usando s3cmd du s3://bucket_name, mas estou preocupado com sua capacidade de dimensionar, pois parece que busca dados sobre cada arquivo e calcula sua própria soma. Como a Amazon cobra dos usuários em GB-Meses, parece estranho que eles não exponham esse valor diretamente.

Embora a API REST da Amazon retorne o número de itens em um bucket, s3cmd não parece expô-lo. Eu poderia fazer, s3cmd ls -r s3://bucket_name | wc -lmas isso parece um hack.

A biblioteca Ruby AWS::S3 parecia promissora, mas fornece apenas o número de itens do bucket, não o tamanho total do bucket.

Alguém conhece outras ferramentas ou bibliotecas de linha de comando (prefira Perl, PHP, Python ou Ruby) que fornecem maneiras de obter esses dados?

amazon-web-services

27 respostas

  1. Isso agora pode ser feito trivialmente apenas com o cliente de linha de comando oficial da AWS:

    aws s3 ls --summarize --human-readable --recursive s3://bucket-name/

    Documentação oficial: AWS CLI Command Reference (versão 2)

    Isso também aceita prefixos de caminho se você não quiser contar o bucket inteiro:

    aws s3 ls --summarize --human-readable --recursive s3://bucket-name/directory
    • 468
  2. Best Answer

    A AWS CLI agora oferece suporte ao --queryparâmetro que usa expressões JMESPath .

    Isso significa que você pode somar os valores de tamanho fornecidos list-objectsusando sum(Contents[].Size)e contar como length(Contents[]).

    Isso pode ser executado usando a AWS CLI oficial conforme abaixo e foi introduzido em fevereiro de 2014

     aws s3api list-objects --bucket BUCKETNAME --output json --query "[sum(Contents[].Size), length(Contents[])]"
    • 210

  3. Console AWS:

    A partir de 28 de julho de 2015, você pode obter essas informações via CloudWatch . Se você quiser uma GUI, vá para o console do CloudWatch : (Escolha Região > ) Métricas > S3

    Comando da AWS CLI:

    Isso é muito mais rápido do que alguns dos outros comandos postados aqui, pois não consulta o tamanho de cada arquivo individualmente para calcular a soma.

     aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time 2015-07-15T10:00:00 --end-time 2015-07-31T01:00:00 --period 86400 --statistics Average --region eu-west-1 --metric-name BucketSizeBytes --dimensions Name=BucketName,Value=toukakoukan.com Name=StorageType,Value=StandardStorage

    Importante : Você deve especificar StorageType e BucketName no argumento de dimensões, caso contrário, você não obterá resultados. Tudo o que você precisa alterar é o --start-date, --end-time, e Value=toukakoukan.com.

    Aqui está um script bash que você pode usar para evitar ter que especificar --start-datee --end-timemanualmente.

    #!/bin/bash
bucket=$1
region=$2
now=$(date +%s)
aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time "$(echo "$now - 86400" | bc)" --end-time "$now" --period 86400 --statistics Average --region $region --metric-name BucketSizeBytes --dimensions Name=BucketName,Value="$bucket" Name=StorageType,Value=StandardStorage
    • 177

  4. s3cmd pode fazer isso:

    s3cmd du s3://bucket-name

    • 110

  5. Se você fizer download de um relatório de uso , poderá representar graficamente os valores diários do TimedStorage-ByteHrscampo.

    Se você quiser esse número em GiB, basta dividir por 1024 * 1024 * 1024 * 24(isso é GiB-horas para um ciclo de 24 horas). Se você quiser o número em bytes, basta dividir por 24 e traçar o gráfico.

    • 26

  6. Se você deseja obter o tamanho do Console AWS:

    1. Vá para S3 e selecione o bucket
    2. Clique na guia "Métricas"

    insira a descrição da imagem aqui

    Por padrão, você deve ver as métricas do tamanho total do bucket na parte superior

    • 25

  7. Usando as ferramentas de linha de comando oficiais do AWS s3:

    aws s3 ls s3://bucket/folder --recursive | awk 'BEGIN {total=0}{total+=$3}END{print total/1024/1024" MB"}'

    Este é um comando melhor, basta adicionar os seguintes 3 parâmetros --summarize --human-readable --recursiveapós aws s3 ls. --summarizenão é necessário embora dê um toque agradável no tamanho total.

    aws s3 ls s3://bucket/folder --summarize --human-readable --recursive
    • 22

  8. s4cmd é a maneira mais rápida que encontrei (um utilitário de linha de comando escrito em Python):

    pip install s4cmd

    Agora, para calcular todo o tamanho do bucket usando vários threads:

    s4cmd du -r s3://bucket-name
    • 15

  9. Você pode usar o utilitário s3cmd, por exemplo:

    s3cmd du -H s3://Mybucket
97G      s3://Mybucket/
    • 9

  10. Então, percorrendo a API e reproduzindo algumas mesmas consultas, o S3 produzirá todo o conteúdo de um bucket em uma solicitação e não precisará descer aos diretórios. Os resultados, então, exigem apenas a soma dos vários elementos XML, e não chamadas repetidas. Eu não tenho um balde de amostra que tenha milhares de itens, então não sei o quão bem ele será dimensionado, mas parece razoavelmente simples.

    • 6

relate perguntas