Preparei um DB Fiddle para minha pergunta e também mostrarei meu código completo abaixo -
Estou tentando armazenar dados em uma vehicle_data
tabela e cada registro de dados tem uma expires_at
coluna:
-- Create table for customer IDs
CREATE TABLE customer_ids (
id INTEGER PRIMARY KEY CHECK (id > 0),
label TEXT NOT NULL CHECK (label ~ '\S')
);
-- Insert valid customer IDs
INSERT INTO customer_ids (id, label) VALUES
(1, 'Customer 1'),
(2, 'Customer 2'),
(3, 'Customer 3'),
(4, 'Customer 4'),
(5, 'Customer 5');
-- Create table for use case IDs
CREATE TABLE use_case_ids (
id INTEGER PRIMARY KEY CHECK (id > 0),
label TEXT NOT NULL CHECK (label ~ '\S')
);
-- Insert valid use case IDs
INSERT INTO use_case_ids (id, label) VALUES
(1, 'Use Case 1'),
(2, 'Use Case 2'),
(3, 'Use Case 3'),
(4, 'Use Case 4'),
(5, 'Use Case 5');
-- Create table for uploaded vehicle data
CREATE TABLE vehicle_data (
-- the triple is counted when comparing against node_limit
osm_node_id BIGINT NOT NULL CHECK (osm_node_id > 0),
customer_id INTEGER NOT NULL,
use_case_id INTEGER NOT NULL,
container_id BIGINT NOT NULL CHECK (container_id > 0),
expires_at TIMESTAMPTZ NOT NULL,
FOREIGN KEY (customer_id) REFERENCES customer_ids(id),
FOREIGN KEY (use_case_id) REFERENCES use_case_ids(id),
id BIGINT GENERATED ALWAYS AS IDENTITY PRIMARY KEY
);
-- Add a triple-column index to improve search performance
CREATE INDEX idx_vehicle_data ON vehicle_data (osm_node_id, customer_id, use_case_id);
Para preencher a vehicle_data
tabela com dados, defini um procedimento armazenado simples:
CREATE OR REPLACE FUNCTION store_vehicle_data(
_container_id BIGINT,
_osm_node_ids BIGINT[],
_customer_id INTEGER,
_use_case_id INTEGER,
_node_limit INTEGER,
_retention_time INTERVAL
)
RETURNS BOOLEAN AS $$
DECLARE
_osm_node_id BIGINT;
_row_count INTEGER;
_should_send_pull_container BOOLEAN := TRUE;
BEGIN
-- Delete records with expired retention time - NOT WORKING
DELETE FROM vehicle_data
WHERE NOW() > expires_at;
-- Insert new records
FOREACH _osm_node_id IN ARRAY _osm_node_ids LOOP
BEGIN
INSERT INTO vehicle_data (
osm_node_id,
customer_id,
use_case_id,
container_id,
expires_at
) VALUES (
_osm_node_id,
_customer_id,
_use_case_id,
_container_id,
NOW() + _retention_time
);
EXCEPTION WHEN foreign_key_violation THEN
RAISE EXCEPTION 'Invalid customer_id % or use_case_id % for osm_node_id % container_id: %',
_customer_id, _use_case_id, _osm_node_id, _container_id;
END;
-- Check if the number of records exceeds the node limit
SELECT COUNT(*)
INTO STRICT _row_count
FROM vehicle_data
WHERE osm_node_id = _osm_node_id
AND customer_id = _customer_id
AND use_case_id = _use_case_id;
-- There is enough up-to-date vehicle data for this triple,
-- so tell the vehicle not to send any PULL containers
IF _row_count > _node_limit THEN
_should_send_pull_container := FALSE;
END IF;
END LOOP;
RETURN _should_send_pull_container;
END;
$$ LANGUAGE plpgsql;
Por fim, preparei um teste de fumaça para meu código e o executei duas vezes:
CREATE OR REPLACE FUNCTION test_store_vehicle_data(
num_runs INTEGER,
OUT count_true INTEGER,
OUT count_false INTEGER
)
RETURNS RECORD AS $$
DECLARE
test_result BOOLEAN;
BEGIN
count_true := 0;
count_false := 0;
FOR i IN 1..num_runs LOOP
-- Store OSM node ids (2 are same, 2 are changing)
-- with node limit 10 and retention time 5 seconds
test_result := store_vehicle_data(
100 + i,
ARRAY[1000, 2000, 3000 + i, 4000 + i],
1,
5,
10,
INTERVAL '5 seconds'
);
IF test_result THEN
count_true := count_true + 1;
ELSE
count_false := count_false + 1;
END IF;
END LOOP;
RETURN;
END $$ LANGUAGE plpgsql;
-- Run 2 smoke tests
DO $$
DECLARE
test_result RECORD;
BEGIN
-- Test 1: store 15x4 records expiring in 5 seconds
SELECT * INTO test_result FROM test_store_vehicle_data(15);
IF test_result.count_true != 10 OR test_result.count_false != 5 THEN
RAISE EXCEPTION 'Test 1 failed: expected 10 TRUE, 5 FALSE';
END IF;
-- Sleep for 10 seconds, so that all records in vehicle_data expire
PERFORM pg_sleep(10);
-- Test 2: store 15x4 records expiring in 5 seconds
SELECT * INTO test_result FROM test_store_vehicle_data(15);
IF test_result.count_true != 10 OR test_result.count_false != 5 THEN
RAISE EXCEPTION 'Test 2 failed: expected 10 TRUE, 5 FALSE';
END IF;
END $$;
-- Print all records in the vehicle_data table
SELECT expires_at < NOW() AS expired, * FROM vehicle_data ORDER BY container_id;
Meu problema é que a DELETE FROM vehicle_data WHERE NOW() > expires_at;
instrução na minha store_vehicle_data()
função não exclui nada.
E então ele SELECT expires_at < NOW() AS expired, * FROM vehicle_data ORDER BY container_id;
imprime os registros na tabela e sim, todos eles estão expirados lá.
Eu executo o código SQL acima (criando tabelas, criando funções, executando o teste de fumaça) em um Dockerfile baseado no Dockerfile oficial do Postgres e o teste de fumaça (o Teste 2) sempre falha:
FROM postgres:17-alpine3.21
RUN apk update && apk upgrade && apk add --no-cache pg_top
ARG PGUSER
ARG PGPASSWORD
# Tell docker-entrypoint.sh to create superuser "postgres"
# with password passed as build arg and database "postgres"
ENV POSTGRES_PASSWORD=$PGPASSWORD
# Tell docker-entrypoint.sh to change these params in postgresql.conf
ENV POSTGRES_INITDB_ARGS="--set max_connections=200 --set shared_buffers=16GB --set work_mem=8MB --set maintenance_work_mem=128MB --set effective_cache_size=8GB --set from_collapse_limit=24 --set join_collapse_limit=24 --set log_min_messages=notice --set log_min_duration_statement=1000"
ENV PGUSER=$PGUSER
ENV PGPASSWORD=$PGPASSWORD
ENV PGDATABASE=push_pull_database
# The files below are executed by the superuser "postgres"
# in alphabetical order after the database has been initialized
WORKDIR /docker-entrypoint-initdb.d
COPY ./01-create-database.sh .
COPY ./02-create-tables.sql .
COPY ./03-create-functions.sql .
COPY ./04-alter-owner.sh .
COPY ./05-smoke-tests.sql .
RUN chmod +x ./01-create-database.sh ./04-alter-owner.sh
Então eu conecto usando psql
meu contêiner docker e executo o comando DELETE no prompt do psql e pronto - funciona como esperado e exclui todos os registros expirados.
O resultado de
now()
não muda entre suas chamadas, então seu teste pensa que nenhum tempo passou ainda. Anow()
função ecurrent_timestamp
são uma e a mesma e têm um terceiro alias mais autoexplicativo,transaction_timestamp()
.Seu
do
bloco inteiro é executado em uma única transação, a menos que você estabeleça explicitamente outros limites de transação emitindo commits ou use procedimentos de manipulação de transação dentro dele. Isso significa que seu teste continua vendo exatamente o mesmo tempo, cada vez que verifica o relógio:Use transações para ver alterações em
now()
ou alternar paraclock_timestamp()
:demonstração em db<>fiddle
Enquanto isso:
esse é divertido
Em caso de dúvida,
RAISE
debug/log/info/notice mensagens para imprimir os valores de tempo de execução com os quais você está lidando. Se você só verificounow()
executandoselect now();
algumas vezes do seu cliente, provavelmente viu que ele continuava retornando o tempo atual, mudando a cada chamada - isso porque a maioria dos clientes executa noautocommit
modo por padrão, então cada uma dessas seleções estava em uma nova transação autônoma.Obrigado @Zegarek pela explicação completa!
Decidi manter o
NOW()
na minha função armazenada na esperança de que ela ofereça melhor desempenho e, como solução para o problema, reescrevi meus testes de fumaça para serem executados como SQL simples, sem nenhuma transação.