AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 338552
Accepted
Sascha Mayr
Sascha Mayr
Asked: 2024-04-11 23:55:04 +0800 CST2024-04-11 23:55:04 +0800 CST 2024-04-11 23:55:04 +0800 CST

Como consultar sequências agregadas?

  • 772

Meu objetivo é detectar tendências de preços de criptomoedas. Para isso, estou obtendo dados de preços OHLC para múltiplas moedas versus vários símbolos de cotação (por exemplo, velas para Bitcoin/USD, Bitcoin/EUR, Litecoin/USD etc.). Para realizar o cálculo de tendências utilizo o indicador Supertrend . Eu tenho as 2 tabelas a seguir:

-- This is where price candles AKA OHLC data gets stored. Interval can be '1h', '4h', '1d', etc.
CREATE TABLE ohlc (
    id integer DEFAULT nextval('ohlc_id_seq'::regclass) PRIMARY KEY,
    open numeric(65,30) NOT NULL,
    high numeric(65,30) NOT NULL,
    low numeric(65,30) NOT NULL,
    close numeric(65,30) NOT NULL,
    coinid character varying(255) NOT NULL REFERENCES coin(id) ON DELETE RESTRICT ON UPDATE CASCADE,
    closetime timestamp(3) without time zone NOT NULL,
    quotesymbol text NOT NULL,
    interval text NOT NULL
);

-- This is a caching table that gets automatically populated by a stored procedure that runs AFTER every ohlc insert. "trend" can be 'UP' or 'DOWN'.
CREATE TABLE supertrend (
    id integer DEFAULT nextval('supertrend_id_seq'::regclass) PRIMARY KEY,
    coinid character varying(255) NOT NULL REFERENCES coin(id) ON DELETE RESTRICT ON UPDATE CASCADE,
    quotesymbol text NOT NULL,
    date timestamp(3) without time zone NOT NULL,
    trend text NOT NULL,
    interval text NOT NULL
);

Dados de amostra para a tabela de supertendências:

coinid símbolo de citação data tendência intervalo
'Bitcoin' 'USD' '2024-04-18 00:00:00' 'ACIMA' '1d'
'Bitcoin' 'USD' '2024-04-17 00:00:00' 'ACIMA' '1d'
'Bitcoin' 'USD' '2024-04-16 00:00:00' 'ACIMA' '1d'
'Bitcoin' 'USD' '2024-04-15 00:00:00' 'ABAIXO' '1d'
'Bitcoin' 'EUR' '2024-04-18 00:00:00' 'ACIMA' '1d'
'Bitcoin' 'EUR' '2024-04-17 00:00:00' 'ACIMA' '1d'
'Bitcoin' 'EUR' '2024-04-16 00:00:00' 'ABAIXO' '1d'
'Bitcoin' 'EUR' '2024-04-15 00:00:00' 'ABAIXO' '1d'
'Bitcoin' 'CNY' '2024-04-18 00:00:00' 'ABAIXO' '1d'
'Bitcoin' 'CNY' '2024-04-17 00:00:00' 'ACIMA' '1d'
'Bitcoin' 'CNY' '2024-04-16 00:00:00' 'ACIMA' '1d'
'Bitcoin' 'CNY' '2024-04-15 00:00:00' 'ACIMA' '1d'
'Litecoin' 'USD' '2024-04-18 00:00:00' 'ABAIXO' '1d'
'Litecoin' 'USD' '2024-04-17 00:00:00' 'ACIMA' '1d'
'Litecoin' 'USD' '2024-04-16 00:00:00' 'ABAIXO' '1d'
'Litecoin' 'USD' '2024-04-15 00:00:00' 'ABAIXO' '1d'
'Bitcoin' 'USD' '2024-04-18 00:00:00' 'ACIMA' '4h'
'Bitcoin' 'USD' '2024-04-17 20:00:00' 'ACIMA' '4h'
'Bitcoin' 'USD' '2024-04-17 16:00:00' 'ABAIXO' '4h'

Digamos que eu queira consultar a ORDER BY date DESCtendência mais recente () para cada coinid/quotesymbol com intervalo = '1d' (1 dia). Ou, em outras palavras WHERE interval = '1d' GROUP BY coinid, quotesymbol, quero também saber a tendência da tendência, por quantos períodos essa tendência já é a mesma.

Dados os dados da tabela de supertendências do exemplo acima, meu resultado deve ser semelhante a:

coinid símbolo de citação última tendência tendência_streak
'Bitcoin' 'USD' 'ACIMA' 3
'Bitcoin' 'EUR' 'ACIMA' 2
'Bitcoin' 'CNY' 'ABAIXO' 1
'Litecoin' 'USD' 'ABAIXO' 1

Para esclarecer o resultado acima: 'Bitcoin', 'usd' está 'UP' por 3 períodos, porque a tendência para Bitcoin/USD foi de alta em 18 de abril, 17 de abril e 16 de abril. E 'DOWN' em 15 de abril, veja o exemplo tabela de supertendências.

Além disso, gostaria de saber a supertendência agregada sobre todos os símbolos de cotação (via função de modo). Esse resultado deve ficar assim:

coinid última tendência tendência_streak
'Bitcoin' 'ACIMA' 2
'Litecoin' 'ABAIXO' 1

Para esclarecer o resultado acima: A tendência mais recente do Bitcoin/USD é 'UP, Bitcoin/EUR é 'EUR' é 'UP' e Bitcoin/CNY é 'DOWN'. A função mode pega ('UP', 'UP', 'DOWN') e retorna o valor que ocorre mais frequentemente ('UP').

Como posso consultar esses dados de maneira eficiente, considerando que a tabela de supertendências tem milhões ou bilhões de linhas?

Eu estava pensando em uma visão materializada, mas os intervalos mais baixos possíveis para essas supertendências são de 1 minuto e podem ser escritos em momentos distintos, de modo que pode ser uma taxa de atualização necessária muito alta.

Estou tentando evitar o uso de uma solução de cache separada como o Redis para manter simples a quantidade de arquitetura/ambientes necessários, mas acho que isso poderia ser uma opção especialmente para contadores.

postgresql
  • 1 1 respostas
  • 124 Views

1 respostas

  • Voted
  1. Best Answer
    nbk
    2024-04-18T22:53:56+08:002024-04-18T22:53:56+08:00

    Você pode usar ROW_NUMBERpara determinar o último valor e, em seguida, usar a GROUP BYpara obter sua contagem. então, na próxima etapa, você poderá usar row_number novamente para determinar a tendência com a contagem mais alta.

    a função da janela ROW_NUMBER()faz exatamente o que seu nome diz: fornece um número de linha para cada linha. Com uma função de janela, você consegue agrupar linhas virtualmente e fornecer um row_number para cada grupo, para que você possa ter vários 1 em seu conjunto de resultados. no nosso caso, queremos a última linha de cada grupo, então usamos como ordemDESC

    A LAGfunção de janela em um grupo para o valor anterior, é frequentemente usada como aqui para comparar o valor atual com seu antecessor e detectar alterações.

    mais sobre a função da janela pode estar no manual

    Você pode adicionar à WHEREcláusula os coinids que deseja mostrar.
    Como WHERE rn = 1 AND "coinid" = 'bitcoin'

    A segunda consulta é um pouco mais simples, pois primeiro você detecta as alterações em cada "coinid", "quotesymbolo" e "tend".

    A função Window sum então cria um grupo, já que você só está interessado no último, então nos preocupamos apenas com rn =m 1.

    Seu resultado esperado me confundiu, mas depois de construir sua consulta vi seu erro

    CREATE TABLE superstreak (
      "coinid" VARCHAR(10),
      "quotesymbol" VARCHAR(5),
      "date" date,
      "trend" VARCHAR(4),
      "interval" VARCHAR(4)
    );
    
    INSERT INTO superstreak
      ("coinid", "quotesymbol", "date", "trend", "interval")
    VALUES
      ('bitcoin', 'usd', '2024-04-18 00:00:00', 'UP', '1d'),
      ('bitcoin', 'usd', '2024-04-17 00:00:00', 'UP', '1d'),
      ('bitcoin', 'usd', '2024-04-16 00:00:00', 'UP', '1d'),
      ('bitcoin', 'usd', '2024-04-15 00:00:00', 'DOWN', '1d'),
      ('bitcoin', 'eur', '2024-04-18 00:00:00', 'UP', '1d'),
      ('bitcoin', 'eur', '2024-04-17 00:00:00', 'UP', '1d'),
      ('bitcoin', 'eur', '2024-04-16 00:00:00', 'DOWN', '1d'),
      ('bitcoin', 'eur', '2024-04-15 00:00:00', 'DOWN', '1d'),
      ('bitcoin', 'cny', '2024-04-18 00:00:00', 'DOWN', '1d'),
      ('bitcoin', 'cny', '2024-04-17 00:00:00', 'UP', '1d'),
      ('bitcoin', 'cny', '2024-04-16 00:00:00', 'UP', '1d'),
      ('bitcoin', 'cny', '2024-04-15 00:00:00', 'UP', '1d'),
      ('litecoin', 'usd', '2024-04-18 00:00:00', 'DOWN', '1d'),
      ('litecoin', 'usd', '2024-04-17 00:00:00', 'UP', '1d'),
      ('litecoin', 'usd', '2024-04-16 00:00:00', 'DOWN', '1d'),
      ('litecoin', 'usd', '2024-04-15 00:00:00', 'DOWN', '1d'),
      ('bitcoin', 'usd', '2024-04-18 00:00:00', 'UP', '4h'),
      ('bitcoin', 'usd', '2024-04-17 20:00:00', 'UP', '4h'),
      ('bitcoin', 'usd', '2024-04-17 16:00:00', 'DOWN', '4h');
    
    WITH CTE AS (SELECT
      "coinid", "quotesymbol", "trend",
        ROW_NUMBER() 
        OVER(PARTITION By "coinid", "quotesymbol"
            ORDER BY "date" DESC       
        ) rn
    FROM superstreak
      WHERE "interval" = '1d'),
      CTE2 as (
    SELECT  "coinid", "trend" , COUNT(*) trend_streak  
      FROM CTE 
    WHERE rn = 1 
    GROUP BY "coinid","trend"),
    CTE3 As (SELECT  "coinid", "trend" ,  trend_streak
      ,     ROW_NUMBER() 
        OVER(PARTITION By "coinid"
            ORDER BY trend_streak DESC       
        ) rn2
    FROM CTE2)
    SELECT  "coinid", "trend" ,  trend_streak
      FROM CTE3
      WHERE rn2 = 1
    
    coinid tendência tendência_streak
    Bitcoin ACIMA 2
    Litecoin ABAIXO 1
    WITH CTE As (SELECT
      "coinid", "quotesymbol", "trend","date",
        CASE WHEN "trend" = lag( "trend")
        OVER(PARTITION By "coinid", "quotesymbol"
            ORDER BY "date" DESC       
        ) THEN 0 ELSE 1 END rn
    FROM superstreak
      WHERE "interval" = '1d'),
    CTE2 AS (SELECT "coinid", "quotesymbol", "trend"
    ,SUM( rn)
        OVER(PARTITION By "coinid", "quotesymbol"
            ORDER BY "date" DESC       
        ) rn
    FROM CTE)
    SELECT
    "coinid", "quotesymbol", "trend", COUNT(*) trend_streak
    FROM CTE2
    WHeRE rn = 1
    GROUP BY "coinid", "quotesymbol", "trend"
    ORDER BY trend_streak DESC
    
    coinid símbolo de citação tendência tendência_streak
    Bitcoin USD ACIMA 3
    Bitcoin EUR ACIMA 2
    Bitcoin CNY ABAIXO 1
    Litecoin USD ABAIXO 1

    violino

    • 0

relate perguntas

  • Posso ativar o PITR depois que o banco de dados foi usado

  • Práticas recomendadas para executar a replicação atrasada do deslocamento de tempo

  • Os procedimentos armazenados impedem a injeção de SQL?

  • Sequências Biológicas do UniProt no PostgreSQL

  • Qual é a diferença entre a replicação do PostgreSQL 9.0 e o Slony-I?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve