Início / dba / Perguntas / 199523
Accepted
sharadov
Asked: 2018-03-07 10:32:57 +0800 CST

Excluir dados de uma tabela de bilhões de linhas com base na cláusula where

  • 772

Preciso excluir cerca de 400 milhões de linhas de uma tabela de 1,3 bilhão de linhas com base em um campo de data indexado.

A tabela tem cerca de 800 GB de tamanho.

Qual é a maneira mais eficiente de excluir os dados sem causar efeitos adversos? A tabela está sob uso intenso, o que significa muitas inserções e atualizações (que não afetam as linhas a serem excluídas).

Há uma janela de manutenção, que seria mais rápida, mas talvez não consiga uma janela de manutenção grande o suficiente. Por outro lado, posso levar meu tempo com a exclusão, então não há pressa.

postgresql delete

3 respostas

  1. Best Answer

    Achei uma maneira melhor de fazer isso

    1. Insert into new_tbl select * from old_tbl where start_date < now -INTERVAL '2 years'

    2. Durante a janela de tempo de inatividade: 

      insert into new_tbl select * from old_tbl where id not in (select id from new_tbl ) and id not in ( select id from old_tbl)

    3. Renomeie old_tblpara old_tbl_drope new_tblpara old_tbl.

    4. Solte old_tbl_drop.
    • 1

  2. Resposta do wiki da comunidade :

    Escreva um script em lote que faça, digamos, 10.000 exclusões e confirmações, próximos 10.000 e assim por diante.

    Você deve escolher um número que possa ser excluído e confirmado rapidamente, para que não interfira por muito tempo em outros processos, mas ainda valha a pena manter as coisas em movimento.

    Supondo que você seja capaz de encontrar os registros a serem excluídos, em tempo hábil.

    • 1

  3. Se você precisar excluir 400 M de uma tabela que é 1,2 B. Isso significa que você deve marcar 400 M linhas mortas. Isso é substancialmente mais rápido do que escrever de novo 3 vezes isso. Portanto, a maneira mais eficiente no PostgreSQL é uma simples

    DELETE FROM foo WHERE ...

    BTW, excluir um bilhão de tantas linhas realmente não é grande coisa. Experimente.

    \timings

CREATE TABLE foo
AS
  SELECT x::bigint
  FROM generate_series(1,1200000000) AS gs(x);

DELETE FROM foo
WHERE x < 400000000;

    Veja também

    • 0

relate perguntas