在工作中,我们有一个用于排队作业的数据库表,因此它看到了很多吞吐量。我们遇到的一个问题是,在没有任何代码更改的周末之后,该表上的索引充满了死元组。当我们运行时VACUUM VERBOSE ANALYZE
,这显示为“600461 死行版本还不能被删除,最旧的 xmin:902335252”(参见 [1])。
当我们寻找阻止真空清除这些的原因时,它指向一个正在运行的查询LISTEN
,使用 Postgres 的 pubsub 功能。这已经运行了好几天,我认为这是一种预期的使用方式LISTEN
。
因此,解决这个问题的一种方法是确保我们的应用程序服务器定期重启,这样它们就不会监听这么长时间,或者让它们重启任何LISTEN
运行时间超过某个时间段的服务器。也就是说,我想知道 Postgres 是否有一种简单的方法来处理这个问题。有没有办法配置事务以不阻止清理死元组?我们的应用程序代码中是否有问题导致 LISTEN 出现这种行为?
“不要有长时间运行的事务”作为一般原则对我来说是有意义的,但它是相当尴尬的,因为LISTEN
它旨在用作获取流式更新的一种方式,所以我希望 Postgres 可能有一个很好的解决方案。
=> SELECT *
-> FROM pg_stat_activity
-> WHERE backend_xmin = '902335252';
-[ RECORD 1 ]----+------------------------------
datid | 16404
datname | company_web_backend
pid | 8936
leader_pid |
usesysid | 16388
usename | company_web_backend
application_name |
client_addr | 10.0.1.80
client_hostname |
client_port | 56654
backend_start | 2021-07-24 01:21:28.270245+00
xact_start | 2021-07-24 01:21:28.279008+00
query_start | 2021-07-24 01:21:28.279008+00
state_change | 2021-07-24 01:21:28.281313+00
wait_event_type | Client
wait_event | ClientWrite
state | idle
backend_xid |
backend_xmin | 902335252
query | LISTEN queued_jobs
backend_type | client backend
[1]
server=> VACUUM VERBOSE ANALYZE queued_jobs;
INFO: vacuuming "public.queued_jobs"
INFO: launched 2 parallel vacuum workers for index cleanup (planned: 2)
INFO: "queued_jobs": found 0 removable, 5324589 nonremovable row versions in 553064 out of 8685508 pages
DETAIL: 600461 dead row versions cannot be removed yet, oldest xmin: 902335252
There were 9061227 unused item identifiers.
Skipped 3 pages due to buffer pins, 5619824 frozen pages.
0 pages are entirely empty.
CPU: user: 1.42 s, system: 1.25 s, elapsed: 3.10 s.
INFO: vacuuming "pg_toast.pg_toast_37823"
INFO: "pg_toast_37823": found 0 removable, 414848 nonremovable row versions in 79545 out of 16530493 pages
DETAIL: 0 dead row versions cannot be removed yet, oldest xmin: 902335252
There were 0 unused item identifiers.
Skipped 0 pages due to buffer pins, 14394456 frozen pages.
0 pages are entirely empty.
CPU: user: 0.46 s, system: 0.12 s, elapsed: 0.58 s.
INFO: analyzing "public.queued_jobs"
INFO: "queued_jobs": scanned 30000 of 8685508 pages, containing 311159 live rows and 2103 dead rows; 30000 rows in sample, 90085799 estimated total rows
VACUUM