AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 333509
Accepted
camtech
camtech
Asked: 2023-11-28 13:58:00 +0800 CST2023-11-28 13:58:00 +0800 CST 2023-11-28 13:58:00 +0800 CST

Agregar dados SCD Tipo 2 "a partir de" cada dia

  • 772

Problema

Ao trabalhar com dados SCD tipo 2, é fácil ver o estado de uma tabela "a partir de" um determinado momento usando suas colunas de data, por exemplo: valid_frome valid_to. Por exemplo:

select * from table
where '2023-11-01' between valid_from and valid_to

Você pode então agrupar ou usar funções de janela para agregar.

Mas e se eu quiser fazer isso repetidamente, para cada data de um intervalo (por exemplo: diariamente)? Não preciso agregar essas datas, apenas dentro de cada uma.

Exemplo

Digamos que eu tenha uma tabela que rastreia o quantitynúmero de pessoas de cada um reservation_id. Tanto a quantitypersonalidade das pessoas quanto a reservation_statuspodem mudar com o tempo, conforme monitorado pela tabela. Cada reserva está anexada a um arquivo event_id. event_dateestá incluído para ajudar a limitar o escopo, se necessário (veja as suposições abaixo).

id_da_reserva status_reserva quantidade ID_do_evento data do evento válido de valido para
1 ativo 4 100 2023-05-25 01/01/2023 2023-01-02
2 ativo 2 200 07/01/2024 01/01/2023 03-01-2023
3 ativo 7 100 2023-05-25 2023-01-02 9999-12-31
4 ativo 1 200 07/01/2024 2023-01-02 9999-12-31
1 ativo 5 100 2023-05-25 03-01-2023 9999-12-31
5 ativo 8 100 2023-05-25 03-01-2023 9999-12-31
2 cancelado 2 200 07/01/2024 04/01/2023 9999-12-31
6 ativo 3 100 2023-05-25 06/01/2023 9999-12-31

PostgreSQL já que o BigQuery é mais difícil de testar – db-fiddle /SQL:

CREATE TABLE Reservations (
  "reservation_id" INTEGER,
  "reservation_status" VARCHAR(9),
  "quantity" INTEGER,
  "event_id" INTEGER,
  "event_date" DATE,
  "valid_from" DATE,
  "valid_to" DATE
);

INSERT INTO Reservations
  ("reservation_id", "reservation_status", "quantity", "event_id", "event_date", "valid_from", "valid_to")
VALUES
  ('1', 'active', '4', '100', '2023-05-25', '2023-01-01', '2023-01-02'),
  ('2', 'active', '2', '200', '2024-01-07', '2023-01-01', '2023-01-03'),
  ('3', 'active', '7', '100', '2023-05-25', '2023-01-02', '9999-12-31'),
  ('4', 'active', '1', '200', '2024-01-07', '2023-01-02', '9999-12-31'),
  ('1', 'active', '5', '100', '2023-05-25', '2023-01-03', '9999-12-31'),
  ('5', 'active', '8', '100', '2023-05-25', '2023-01-03', '9999-12-31'),
  ('2', 'cancelled', '2', '200', '2024-01-07', '2023-01-04', '9999-12-31'),
  ('6', 'active', '3', '100', '2023-05-25', '2023-01-06', '9999-12-31');

Embora isso seja, em última análise, para o BigQuery, a resposta será aceita em qualquer dialeto, desde que seja um tanto genérica.

Premissas
  • As datas "a partir de" podem ser uma lista ou intervalo baseado em valid_frommínimo/máximo
  • valid_tode 9999-12-31são os dados mais recentes
  • Todas as reservas para um determinado evento serão entre event_date - INTERVAL '2 years'e event_date. Isso não muda nada neste exemplo, mas talvez seja útil para dimensionar (?)

Saída desejada

Gostaria de saber a soma dos quantityagrupados por event_ide reservation_status a partir de cada intervalo (dia).

até a data ID_do_evento status_reserva soma_quantidade
01/01/2023 100 ativo 4
01/01/2023 200 ativo 2
2023-01-02 100 ativo 11
2023-01-02 200 ativo 2
03-01-2023 100 ativo 20
03-01-2023 200 ativo 3
04/01/2023 100 ativo 20
04/01/2023 200 ativo 1
04/01/2023 200 cancelado 2
06/01/2023 100 ativo 23

Estimativa aproximada dos valores das linhas. Será diferente se usar o intervalo completo de datas.

Eu essencialmente quero fazer o seguinte:

/* Invalid SQL, just for conceptual purposes */

-- Given a list of dates, for each "date":
select
  event_id,
  reservation_status,
  sum(quantity)
from table
where {{date}} between valid_from and valid_to
group by
  event_id,
  reservation_status

Acredito que isso pode ser feito usando linguagem processual, como um loop for, mas sinto que estou pensando demais nisso e tendo problemas para combinar conceitos mais simples.

postgresql
  • 1 1 respostas
  • 38 Views

1 respostas

  • Voted
  1. Best Answer
    camtech
    2023-11-29T19:53:56+08:002023-11-29T19:53:56+08:00

    Acontece que eu estava pensando demais nisso. Obrigado a esta postagem do Stack Overflow por me lembrar do básico, principalmente que você pode apenas juntar-se on anda comparações, e ao comentário de SergeyA: basta fazer uma lista de datas e aderir a ela.

    Aqui está uma solução completa ( db-fiddle ):

    with
    
    -- Generate range of days based on valid_from
    -- Or use a calendar table/date dimension
    all_dates as (
      select day::date
      from generate_series(
          (select min(valid_from) from Reservations),
          (select max(valid_from) from Reservations),
          '1 day'
      ) day
    ),
    
    -- Quantities as of each day
    quantity_as_of as (
      select
        day as as_of_date,
        Reservations.event_id,
        Reservations.reservation_status,
        sum(Reservations.quantity) as sum_quantity
      from all_dates as ad
      join Reservations
        on valid_from <= ad.day and ad.day < valid_to
      group by
        ad.day,
        Reservations.event_id,
        Reservations.reservation_status
      order by as_of_date, event_id
    )
      
    select * from quantity_as_of
    
    até a data ID_do_evento status_reserva quantidade
    01/01/2023 100 ativo 4
    01/01/2023 200 ativo 2
    2023-01-02 100 ativo 7
    2023-01-02 200 ativo 3
    03-01-2023 100 ativo 20
    03-01-2023 200 ativo 1
    04/01/2023 100 ativo 20
    04/01/2023 200 cancelado 2
    04/01/2023 200 ativo 1
    05/01/2023 100 ativo 20
    05/01/2023 200 ativo 1
    05/01/2023 200 cancelado 2
    06/01/2023 100 ativo 23
    06/01/2023 200 cancelado 2
    06/01/2023 200 ativo 1
    • 0

relate perguntas

  • Posso ativar o PITR depois que o banco de dados foi usado

  • Práticas recomendadas para executar a replicação atrasada do deslocamento de tempo

  • Os procedimentos armazenados impedem a injeção de SQL?

  • Sequências Biológicas do UniProt no PostgreSQL

  • Qual é a diferença entre a replicação do PostgreSQL 9.0 e o Slony-I?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve