AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / coding / Perguntas / 79367012
Accepted
Alexander Farber
Alexander Farber
Asked: 2025-01-18 19:03:11 +0800 CST2025-01-18 19:03:11 +0800 CST 2025-01-18 19:03:11 +0800 CST

Por que DELETE FROM vehicle_data WHERE NOW() > expires_at; está falhando na minha função armazenada?

  • 772

Preparei um DB Fiddle para minha pergunta e também mostrarei meu código completo abaixo -

Estou tentando armazenar dados em uma vehicle_datatabela e cada registro de dados tem uma expires_atcoluna:

-- Create table for customer IDs
CREATE TABLE customer_ids (
    id INTEGER PRIMARY KEY CHECK (id > 0),
    label TEXT NOT NULL CHECK (label ~ '\S')
);

-- Insert valid customer IDs
INSERT INTO customer_ids (id, label) VALUES
(1, 'Customer 1'),
(2, 'Customer 2'),
(3, 'Customer 3'),
(4, 'Customer 4'),
(5, 'Customer 5');

-- Create table for use case IDs
CREATE TABLE use_case_ids (
    id INTEGER PRIMARY KEY CHECK (id > 0),
    label TEXT NOT NULL CHECK (label ~ '\S')
);

-- Insert valid use case IDs
INSERT INTO use_case_ids (id, label) VALUES
(1, 'Use Case 1'),
(2, 'Use Case 2'),
(3, 'Use Case 3'),
(4, 'Use Case 4'),
(5, 'Use Case 5');

-- Create table for uploaded vehicle data
CREATE TABLE vehicle_data (
    -- the triple is counted when comparing against node_limit
    osm_node_id BIGINT NOT NULL CHECK (osm_node_id > 0),
    customer_id INTEGER NOT NULL,
    use_case_id INTEGER NOT NULL,

    container_id BIGINT NOT NULL CHECK (container_id > 0),
    expires_at TIMESTAMPTZ NOT NULL,

    FOREIGN KEY (customer_id) REFERENCES customer_ids(id),
    FOREIGN KEY (use_case_id) REFERENCES use_case_ids(id),
    id BIGINT GENERATED ALWAYS AS IDENTITY PRIMARY KEY
);

-- Add a triple-column index to improve search performance
CREATE INDEX idx_vehicle_data ON vehicle_data (osm_node_id, customer_id, use_case_id);

Para preencher a vehicle_datatabela com dados, defini um procedimento armazenado simples:

CREATE OR REPLACE FUNCTION store_vehicle_data(
    _container_id BIGINT,
    _osm_node_ids BIGINT[],
    _customer_id INTEGER,
    _use_case_id INTEGER,
    _node_limit INTEGER,
    _retention_time INTERVAL
)
RETURNS BOOLEAN AS $$
DECLARE
    _osm_node_id BIGINT;
    _row_count INTEGER;
    _should_send_pull_container BOOLEAN := TRUE;
BEGIN
    -- Delete records with expired retention time - NOT WORKING
    DELETE FROM vehicle_data
    WHERE NOW() > expires_at;

    -- Insert new records
    FOREACH _osm_node_id IN ARRAY _osm_node_ids LOOP
        BEGIN
            INSERT INTO vehicle_data (
                osm_node_id,
                customer_id, 
                use_case_id, 
                container_id, 
                expires_at
            ) VALUES (
                _osm_node_id, 
                _customer_id, 
                _use_case_id, 
                _container_id,
                NOW() + _retention_time
            );
        EXCEPTION WHEN foreign_key_violation THEN
            RAISE EXCEPTION 'Invalid customer_id % or use_case_id % for osm_node_id % container_id: %',
                _customer_id, _use_case_id, _osm_node_id, _container_id;
        END;

        -- Check if the number of records exceeds the node limit
        SELECT COUNT(*)
        INTO STRICT _row_count
        FROM vehicle_data
        WHERE osm_node_id = _osm_node_id
        AND customer_id = _customer_id
        AND use_case_id = _use_case_id;

        -- There is enough up-to-date vehicle data for this triple,
        -- so tell the vehicle not to send any PULL containers
        IF _row_count > _node_limit THEN
            _should_send_pull_container := FALSE;
        END IF;
    END LOOP;

    RETURN _should_send_pull_container;
END;
$$ LANGUAGE plpgsql;

Por fim, preparei um teste de fumaça para meu código e o executei duas vezes:

CREATE OR REPLACE FUNCTION test_store_vehicle_data(
    num_runs INTEGER,
    OUT count_true INTEGER,
    OUT count_false INTEGER
)
RETURNS RECORD AS $$
DECLARE
    test_result BOOLEAN;
BEGIN
    count_true := 0;
    count_false := 0;

    FOR i IN 1..num_runs LOOP
        -- Store OSM node ids (2 are same, 2 are changing)
        -- with node limit 10 and retention time 5 seconds
        test_result := store_vehicle_data(
            100 + i, 
            ARRAY[1000, 2000, 3000 + i, 4000 + i],
            1, 
            5, 
            10, 
            INTERVAL '5 seconds'
        );

        IF test_result THEN
            count_true := count_true + 1;
        ELSE
            count_false := count_false + 1;
        END IF;
    END LOOP;

    RETURN;
END $$ LANGUAGE plpgsql;

-- Run 2 smoke tests
DO $$
DECLARE
    test_result RECORD;
BEGIN
    -- Test 1: store 15x4 records expiring in 5 seconds
    SELECT * INTO test_result FROM test_store_vehicle_data(15);
    IF test_result.count_true != 10 OR test_result.count_false != 5 THEN
        RAISE EXCEPTION 'Test 1 failed: expected 10 TRUE, 5 FALSE';
    END IF;

    -- Sleep for 10 seconds, so that all records in vehicle_data expire
    PERFORM pg_sleep(10);

    -- Test 2: store 15x4 records expiring in 5 seconds
    SELECT * INTO test_result FROM test_store_vehicle_data(15);
    IF test_result.count_true != 10 OR test_result.count_false != 5 THEN
        RAISE EXCEPTION 'Test 2 failed: expected 10 TRUE, 5 FALSE';
    END IF;
END $$;

-- Print all records in the vehicle_data table
SELECT expires_at < NOW() AS expired, * FROM vehicle_data ORDER BY container_id;

Meu problema é que a DELETE FROM vehicle_data WHERE NOW() > expires_at;instrução na minha store_vehicle_data()função não exclui nada.

E então ele SELECT expires_at < NOW() AS expired, * FROM vehicle_data ORDER BY container_id;imprime os registros na tabela e sim, todos eles estão expirados lá.

Eu executo o código SQL acima (criando tabelas, criando funções, executando o teste de fumaça) em um Dockerfile baseado no Dockerfile oficial do Postgres e o teste de fumaça (o Teste 2) sempre falha:

FROM postgres:17-alpine3.21
RUN apk update && apk upgrade && apk add --no-cache pg_top

ARG PGUSER
ARG PGPASSWORD

# Tell docker-entrypoint.sh to create superuser "postgres"
# with password passed as build arg and database "postgres"
ENV POSTGRES_PASSWORD=$PGPASSWORD

# Tell docker-entrypoint.sh to change these params in postgresql.conf
ENV POSTGRES_INITDB_ARGS="--set max_connections=200 --set shared_buffers=16GB --set work_mem=8MB --set maintenance_work_mem=128MB --set effective_cache_size=8GB --set from_collapse_limit=24 --set join_collapse_limit=24 --set log_min_messages=notice --set log_min_duration_statement=1000"

ENV PGUSER=$PGUSER
ENV PGPASSWORD=$PGPASSWORD
ENV PGDATABASE=push_pull_database

# The files below are executed by the superuser "postgres"
# in alphabetical order after the database has been initialized
WORKDIR /docker-entrypoint-initdb.d
COPY ./01-create-database.sh .
COPY ./02-create-tables.sql .
COPY ./03-create-functions.sql .
COPY ./04-alter-owner.sh .
COPY ./05-smoke-tests.sql .
RUN chmod +x ./01-create-database.sh ./04-alter-owner.sh

Então eu conecto usando psqlmeu contêiner docker e executo o comando DELETE no prompt do psql e pronto - funciona como esperado e exclui todos os registros expirados.

sql
  • 2 2 respostas
  • 85 Views

2 respostas

  • Voted
  1. Best Answer
    Zegarek
    2025-01-18T20:23:03+08:002025-01-18T20:23:03+08:00

    O resultado de now()não muda entre suas chamadas, então seu teste pensa que nenhum tempo passou ainda. A now()função e current_timestampsão uma e a mesma e têm um terceiro alias mais autoexplicativo, transaction_timestamp().

    Seu dobloco inteiro é executado em uma única transação, a menos que você estabeleça explicitamente outros limites de transação emitindo commits ou use procedimentos de manipulação de transação dentro dele. Isso significa que seu teste continua vendo exatamente o mesmo tempo, cada vez que verifica o relógio:

    transaction_timestamp()é equivalente a CURRENT_TIMESTAMP, mas é nomeado para refletir claramente o que ele retorna.(...) now()é um equivalente tradicional do PostgreSQL para transaction_timestamp().

    Use transações para ver alterações em now()ou alternar para clock_timestamp():

    clock_timestamp()retorna a hora atual real e, portanto, seu valor muda mesmo dentro de um único comando SQL.

    demonstração em db<>fiddle

    do $d$
    begin insert into debug_ select now(), statement_timestamp(), clock_timestamp();
          perform pg_sleep(.1);
          insert into debug_ select now(), statement_timestamp(), clock_timestamp();
          perform pg_sleep(.1);
          insert into debug_ select now(), statement_timestamp(), clock_timestamp();
    end $d$;
    
    table debug_;
    
    agora declaração_timestamp carimbo_de_hora_do_relógio eu ia
    2025-01-18 12:49:54.854183+00 2025-01-18 12:49:54.854183+00 18/01/2025 12:49: 54.867843 +00 1
    2025-01-18 12:49:54.854183+00 2025-01-18 12:49:54.854183+00 18/01/2025 12:49: 54.968707 +00 2
    2025-01-18 12:49:54.854183+00 2025-01-18 12:49:54.854183+00 18/01/2025 12:49: 55.070274 +00 3

    Enquanto isso:

    do $d$
    begin insert into debug_ select now(), statement_timestamp(), clock_timestamp();
          perform pg_sleep(.1);
          commit;
          insert into debug_ select now(), statement_timestamp(), clock_timestamp();
          perform pg_sleep(.1);
          commit;
          insert into debug_ select now(), statement_timestamp(), clock_timestamp();
    end $d$;
    
    table debug_;
    
    agora statement_timestamp
    esse é divertido
    carimbo_de_hora_do_relógio eu ia
    2025-01-18 12:49:55.075149+00 2025-01-18 12:49:55.075149+00 2025-01-18 12:49:55.075404+00 1
    2025-01-18 12:49:55.176869+00 2025-01-18 12:49:55.075149+00 2025-01-18 12:49:55.177075+00 2
    2025-01-18 12:49:55.277518+00 2025-01-18 12:49:55.075149+00 2025-01-18 12:49:55.27782+00 3

    Em caso de dúvida, RAISEdebug/log/info/notice mensagens para imprimir os valores de tempo de execução com os quais você está lidando. Se você só verificou now()executando select now();algumas vezes do seu cliente, provavelmente viu que ele continuava retornando o tempo atual, mudando a cada chamada - isso porque a maioria dos clientes executa no autocommitmodo por padrão, então cada uma dessas seleções estava em uma nova transação autônoma.

    • 5
  2. Alexander Farber
    2025-01-18T22:02:11+08:002025-01-18T22:02:11+08:00

    Obrigado @Zegarek pela explicação completa!

    Decidi manter o NOW()na minha função armazenada na esperança de que ela ofereça melhor desempenho e, como solução para o problema, reescrevi meus testes de fumaça para serem executados como SQL simples, sem nenhuma transação.

    CREATE OR REPLACE FUNCTION test_store_vehicle_data(
        num_runs INTEGER,
        OUT count_true INTEGER,
        OUT count_false INTEGER
    )
    RETURNS RECORD AS $$
    DECLARE
        test_result BOOLEAN;
    BEGIN
        count_true := 0;
        count_false := 0;
    
        FOR i IN 1..num_runs LOOP
            -- Store OSM node ids (2 are same, 2 are changing)
            -- with node limit 10 and retention time 5 seconds
            test_result := store_vehicle_data(
                100 + i, 
                ARRAY[1000, 2000, 3000 + i, 4000 + i],
                1, 
                5, 
                10, 
                INTERVAL '5 seconds'
            );
    
            IF test_result THEN
                count_true := count_true + 1;
            ELSE
                count_false := count_false + 1;
            END IF;
        END LOOP;
    
        RETURN;
    END $$ LANGUAGE plpgsql;
    
    -- Test 1: Run the test_store_vehicle_data function
    -- to insert 15x4 records (node_limit 10, expiring
    -- in 5 seconds) into the vehicle_data table and
    -- finally store the result in a temporary table
    CREATE TEMP TABLE temp_test_result AS
    SELECT * FROM test_store_vehicle_data(15);
    
    -- The temp_test_result has just 1 record, check it
    SELECT 
        CASE 
            WHEN count_true != 10 OR count_false != 5 
            THEN 'Test 1 failed: expected 10 TRUE, 5 FALSE' 
            ELSE 'Test 1 passed' 
        END AS test_result
    FROM temp_test_result;
    
    -- Drop the temporary table to clean up
    DROP TABLE temp_test_result;
    
    -- Pause execution for 10 seconds so that all records expire
    SELECT pg_sleep(10);
    
    -- Test 2: Run the test_store_vehicle_data function
    -- to insert 15x4 records (node_limit 10, expiring
    -- in 5 seconds) into the vehicle_data table and
    -- finally store the result in a temporary table
    CREATE TEMP TABLE temp_test_result AS
    SELECT * FROM test_store_vehicle_data(15);
    
    -- The temp_test_result has just 1 record, check it
    SELECT 
        CASE 
            WHEN count_true != 10 OR count_false != 5 
            THEN 'Test 2 failed: expected 10 TRUE, 5 FALSE' 
            ELSE 'Test 2 passed' 
        END AS test_result
    FROM temp_test_result;
    
    -- Drop the temporary table to clean up
    DROP TABLE temp_test_result;
    
    -- Print all records in the vehicle_data table
    SELECT expires_at < NOW() AS is_expired, *
    FROM vehicle_data
    ORDER BY container_id;
    
    • 0

relate perguntas

  • Atualizando todas as linhas, exceto uma que tenha os mesmos valores em determinadas colunas

  • Existe uma maneira de inverter apenas os números quando eu retornar uma coluna sql? (hebraico)

  • SQL menor/maior comparação entre booleanos produz resultados inesperados

  • Como atualizar valores na tabela Postgres com base em uma correspondência em uma matriz

  • Como somar colunas no sql server

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Reformatar números, inserindo separadores em posições fixas

    • 6 respostas
  • Marko Smith

    Por que os conceitos do C++20 causam erros de restrição cíclica, enquanto o SFINAE antigo não?

    • 2 respostas
  • Marko Smith

    Problema com extensão desinstalada automaticamente do VScode (tema Material)

    • 2 respostas
  • Marko Smith

    Vue 3: Erro na criação "Identificador esperado, mas encontrado 'import'" [duplicado]

    • 1 respostas
  • Marko Smith

    Qual é o propósito de `enum class` com um tipo subjacente especificado, mas sem enumeradores?

    • 1 respostas
  • Marko Smith

    Como faço para corrigir um erro MODULE_NOT_FOUND para um módulo que não importei manualmente?

    • 6 respostas
  • Marko Smith

    `(expression, lvalue) = rvalue` é uma atribuição válida em C ou C++? Por que alguns compiladores aceitam/rejeitam isso?

    • 3 respostas
  • Marko Smith

    Um programa vazio que não faz nada em C++ precisa de um heap de 204 KB, mas não em C

    • 1 respostas
  • Marko Smith

    PowerBI atualmente quebrado com BigQuery: problema de driver Simba com atualização do Windows

    • 2 respostas
  • Marko Smith

    AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos

    • 1 respostas
  • Martin Hope
    Fantastic Mr Fox Somente o tipo copiável não é aceito na implementação std::vector do MSVC 2025-04-23 06:40:49 +0800 CST
  • Martin Hope
    Howard Hinnant Encontre o próximo dia da semana usando o cronógrafo 2025-04-21 08:30:25 +0800 CST
  • Martin Hope
    Fedor O inicializador de membro do construtor pode incluir a inicialização de outro membro? 2025-04-15 01:01:44 +0800 CST
  • Martin Hope
    Petr Filipský Por que os conceitos do C++20 causam erros de restrição cíclica, enquanto o SFINAE antigo não? 2025-03-23 21:39:40 +0800 CST
  • Martin Hope
    Catskul O C++20 mudou para permitir a conversão de `type(&)[N]` de matriz de limites conhecidos para `type(&)[]` de matriz de limites desconhecidos? 2025-03-04 06:57:53 +0800 CST
  • Martin Hope
    Stefan Pochmann Como/por que {2,3,10} e {x,3,10} com x=2 são ordenados de forma diferente? 2025-01-13 23:24:07 +0800 CST
  • Martin Hope
    Chad Feller O ponto e vírgula agora é opcional em condicionais bash com [[ .. ]] na versão 5.2? 2024-10-21 05:50:33 +0800 CST
  • Martin Hope
    Wrench Por que um traço duplo (--) faz com que esta cláusula MariaDB seja avaliada como verdadeira? 2024-05-05 13:37:20 +0800 CST
  • Martin Hope
    Waket Zheng Por que `dict(id=1, **{'id': 2})` às vezes gera `KeyError: 'id'` em vez de um TypeError? 2024-05-04 14:19:19 +0800 CST
  • Martin Hope
    user924 AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos 2024-03-20 03:12:31 +0800 CST

Hot tag

python javascript c++ c# java typescript sql reactjs html

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve