主页 / dba / 问题 / 199523
Accepted
sharadov
Asked: 2018-03-07 10:32:57 +0800 CST

根据where子句从十亿行表中删除数据

  • 772

我需要根据索引日期字段从 13 亿行表中删除大约 4 亿行。

该表的大小约为 800 GB。

在不造成不利影响的情况下删除数据的最有效方法是什么？该表被大量使用，这意味着大量的插入和更新（这不会影响要删除的行）。

有一个维护窗口，这将是最快的，但我可能无法获得足够大的维护窗口。另一方面，我可以花时间进行删除，所以不用着急。

postgresql delete

3 个回答

  1. Best Answer

    想出了一个更好的方法来做到这一点

    1. Insert into new_tbl select * from old_tbl where start_date < now -INTERVAL '2 years'

    2. 在停机时间窗口期间： 

      insert into new_tbl select * from old_tbl where id not in (select id from new_tbl ) and id not in ( select id from old_tbl)

    3. 重命名old_tbl为old_tbl_drop和new_tbl。old_tbl

    4. 放下old_tbl_drop。
    • 1

  2. 社区维基回答：

    给自己写一个批处理脚本，比如说，10,000 次删除和提交，下一个 10,000 次等等。

    您应该选择一个可以快速删除和提交的数字，这样您就不会干扰其他进程太长时间，但仍然值得让事情继续进行。

    假设您能够及时找到要删除的记录。

    • 1

  3. 如果您需要从 1.2 B 的表中删除 400 M。这意味着您必须标记死 400 M 行。这比重新编写 3 倍要快得多。所以在 PostgreSQL 上最有效的方法是一个简单的

    DELETE FROM foo WHERE ...

    顺便说一句，删除十亿行真的没什么大不了的。试试看。

    \timings

CREATE TABLE foo
AS
  SELECT x::bigint
  FROM generate_series(1,1200000000) AS gs(x);

DELETE FROM foo
WHERE x < 400000000;

    也可以看看

    • 0

相关问题