Início / dba / Perguntas / 147750
Accepted
abbood
Asked: 2016-08-25 05:21:10 +0800 CST

como rastrear o progresso de um grande dump postgres

  • 772

Existe uma maneira de ver o andamento de uma pg_dumpoperação em um banco de dados grande (ou seja, > 1 GB)? adicionar a -vopção apenas despeja o texto na tela, mas não me fornece muitas informações de rastreamento significativas.

postgresql postgresql-9.2

3 respostas

  1. Best Answer

    Você pode ver um progresso aproximado usando a lista TOC.

    Primeiro, obtenha a lista TOC de objetos a serem restaurados:

    pg_restore -l -f list.toc db.dump

    Então, você pode ver a lista de sumário linha por linha e comparar a saída de verbose ou consulta pg_stat_activity para ver onde na lista de sumário está pg_restore.

    É apenas uma estimativa aproximada embora. Primeiro porque cada item da lista TOC pode levar um tempo realmente diferente para carregar (por exemplo, esquemas são rápidos, mas carregar dados de tabelas grandes e índices de construção não são), e se você usar -j você terá um item sendo restaurado antes que um anterior termine. Além disso, não tenho 100% de certeza se o pg_restore segue a lista TOC precisamente se você não usar -L, mas acho que sim.

    • 13

  2. Válido para ambientes Unix/Linux:

    O utilitário Pipe Viewer (pv) pode ser usado para rastrear o progresso do backup. O pv anima seu shell com detalhes sobre o tempo decorrido e os bytes transferidos.

    Abaixo está o exemplo de despejo usando os utilitários pv e split para manter os grandes arquivos de despejo em pequenos pedaços. Pode ser útil transferi-lo mais tarde para outro local.

    # dump the PREDATA in clear text into a .PREDATA.SQL text file
pg_dump -s -o --section=pre-data  -n $schemaname $DatabaseConnString | pv | split -d -b $chunksize - $backuppath/$backupfilename".PREDATA.sql"

# dump the POSTDATA in clear text into a .POSTDATA.SQL text file
pg_dump -s -o --section=post-data -n $schemaname $DatabaseConnString | pv | split -d -b $chunksize - $backuppath/$backupfilename".POSTDATA.sql"

# dump the DATA into the .DATA.dump compressed (binary) file
pg_dump -Fc   --section=data      -n $schemaname $DatabaseConnString | pv | split -d -b $chunksize - $backuppath/$backupfilename".DATA.dump"

    A desvantagem - esta abordagem não funciona, se a opção pg_dump -Fd (dump to folder) for usada.

    • 8

  3. Outra maneira é verificar o tamanho do banco de dados com:

    select pg_database_size('database_name');

    Em seguida, abra um terminal linux e monitore o tamanho do arquivo para o qual você está despejando o banco de dados com o seguinte comando (não sei o equivalente no Windows):

    while true; do ls -l --block-size=1MB /path/to/dump.sql; sleep 10; done

    Observe que o tamanho do arquivo de despejo pode ser maior que o do banco de dados, pois algumas estruturas de dados são armazenadas em um formato compactado quando armazenadas no banco de dados.

    • -2

relate perguntas