Início / dba / Perguntas / 55661
Accepted
Milovan Zogovic
Asked: 2013-12-28 01:50:18 +0800 CST

Como duplicar uma enorme tabela postgres?

  • 772

Eu tenho uma enorme tabela postgres (10 GB de dados - 160 milhões de registros). A tabela é estática e não há operações de gravação nela executadas. Eu quero duplicá-lo, executar gravações, reindexá-lo e, em seguida, com uma única transação rápida, excluir o antigo e renomear o novo para o nome original.

Qual é a maneira mais rápida de duplicar uma tabela tão grande?

postgresql

2 respostas

  1. Best Answer

    Geralmente, a maneira mais rápida de duplicar uma tabela é simplesmente:

    CREATE TABLE table2 AS SELECT * FROM table1;

    Os INSERTs paralelos podem ser mais rápidos, mas apenas com um subsistema de disco muito rápido (quando os dados são intercalados em muitas unidades). Caso contrário, isso será mais lento.

    Depois que você terminar de modificar table2, ele poderá usar o novo nome com:

    BEGIN;
DROP TABLE table1;
ALTER TABLE table2 RENAME TO table1;
COMMIT;

    O DROP TABLEcomando precisa de um bloqueio exclusivo, que afeta os leitores simultâneos de uma maneira que você pode querer antecipar:

    • DROPaguardará que qualquer leitura pendente na mesa de outras transações termine.
    • Qualquer nova transação que tente ler essa tabela nesse meio tempo será colocada em espera e falhará, pois a original table1não existe mais. O erro ficaria como "não foi possível abrir relação com OID oid "

    Para evitar o segundo problema, você pode renomear table1 para old_table1 em vez de eliminá-lo e, em seguida, eliminá-lo somente mais tarde fora da transação, quando esses leitores terminarem com ele. Assim, a sequência acima ficaria:

    BEGIN;
ALTER TABLE table1 RENAME TO old_table1;
ALTER TABLE table2 RENAME TO table1;
COMMIT;
...
DROP TABLE old_table1;
    • 57

  2. Você poderia usar este desduplicador de código aberto - usa JDBC: https://github.com/bmiller1009/deduper

    • -1

relate perguntas