AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 46858
Accepted
Bruno
Bruno
Asked: 2013-07-24 05:42:28 +0800 CST2013-07-24 05:42:28 +0800 CST 2013-07-24 05:42:28 +0800 CST

PostgreSQL 处理磁盘填满的策略

  • 772

我正在使用 PostgreSQL (8.4) 来存储由频繁插入的应用程序生成的数据(在下面描述的表结构中)。

数据库随着时间不断增长,并且由于新数据比旧数据更相关(在此特定应用程序中),删除旧行是一个合理的解决方案(基于 lowerid或 old input_datetime,这或多或少相同) .

为了防止与此数据库(此服务器上运行的唯一数据库)相关的问题影响系统的其余部分,我已将 PostgreSQL 数据目录放在其自己的分区上(ext3,在 Linux 系统上)。然而,当这个分区变满时,这会导致许多问题。

我正在考虑定期删除旧数据(例如DELETE FROM data_group WHERE id <= ...通过 cron 作业)来处理这个问题。

首先,我对VACUUM(由启用的自动真空执行)的理解是,虽然它不一定将磁盘空间归还给操作系统(就像VACUUM FULL那样),但它仍然允许将一些新数据插入到已使用的磁盘空间(即DELETEs 不一定会影响文件大小,但它们仍会释放 PostgreSQL 自己的数据结构中的空间)。这个对吗?(我注意到VACUUM FULL应用程序本身存在一些问题,可能是因为它使用了锁。)

如果是这样,它似乎也SELECT pg_database_size('my_database')反映了磁盘上使用的大小,这不一定反映可用于进一步插入的内容。有没有另一种方法来估计有多少空间可用于新插入?

此外,当为时已晚,分区被填充到 100% 时,运行此DELETE语句会导致此错误并导致 PostgreSQL 服务崩溃:

恐慌:无法写入文件“pg_xlog/xlogtemp.7810”:设备上没有剩余空间

PostgreSQL 守护进程停止当然是一个主要问题(并且在这台机器上没有其他磁盘可以将集群移动到)。

是否有防止此类问题发生的一般策略(知道磁盘空间在给定分区内受到限制,但删除旧数据是可以接受的)?我想尽可能多地自动化这一切,而不需要root或postgres(或 PostgreSQL 管理员)干预。


CREATE TABLE data_group (
    id SERIAL PRIMARY KEY,
    name TEXT,
    input_datetime TIMESTAMPTZ
);

CREATE TABLE data_item (
    id SERIAL PRIMARY KEY,
    group_id INTEGER NOT NULL REFERENCES data_group(id) ON DELETE CASCADE ON UPDATE CASCADE,
    position INTEGER NOT NULL,
    data BYTEA
);
postgresql disk-space
  • 1 1 个回答
  • 4119 Views

1 个回答

  • Voted
  1. Best Answer
    dezso
    2013-07-24T06:18:02+08:002013-07-24T06:18:02+08:00

    一方面,您可以查看我之前的一个答案,了解如何保持表格大小或多或少稳定。在那里你会找到一个带触发器的解决方案——当然,这也可以使用 cron 作业来解决。在后一种情况下,我将首先检查行号是否超过某个限制,然后删除最旧的行或删除分区。

    另一方面,正如您已经注意到的那样,必须注意所在的磁盘空间pg_xlog。当它装满时,恢复起来并不容易......但是检查您的数据库设置,您可以公平地估计您需要多少空间:

    总会有至少一个 WAL 段文件,通常不会超过(2 + checkpoint_completion_target) * checkpoint_segments + 1orcheckpoint_segments + wal_keep_segments + 1 文件。每个段文件通常为 16 MB(尽管在构建服务器时可以更改此大小)。您可以使用它来估计 WAL 的空间需求。通常,当不再需要旧的日志段文件时,它们会被回收(重命名为编号序列中的下一个段)。如果由于日志输出率的短期峰值,有多个3 * checkpoint_segments + 1段文件,则不需要的段文件将被删除而不是回收,直到系统恢复到此限制之下。

    如果您没有设置复制,则最大值为3 * checkpoint_segments + 1(乘以 16 MB)。pg_xlog我认为,典型的无复制设置需要低于 10 GB 的空间。

    • 4

相关问题

  • 我可以在使用数据库后激活 PITR 吗?

  • 运行时间偏移延迟复制的最佳实践

  • 存储过程可以防止 SQL 注入吗?

  • PostgreSQL 中 UniProt 的生物序列

  • PostgreSQL 9.0 Replication 和 Slony-I 有什么区别?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    授予用户对所有表的访问权限

    • 5 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    pedrosanta 使用 psql 列出数据库权限 2011-08-04 11:01:21 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve