AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 298990
Accepted
Hasan Can Saral
Hasan Can Saral
Asked: 2021-09-03 20:42:40 +0800 CST2021-09-03 20:42:40 +0800 CST 2021-09-03 20:42:40 +0800 CST

Como posso melhorar o desempenho da consulta com filtro na coluna datetime usando uma exibição indexada?

  • 772

Eu tenho essa tabela:

CREATE TABLE transactions
(
    id                                    NUMERIC(20, 0)              NOT NULL PRIMARY KEY,
    amount                                NUMERIC(18, 2) DEFAULT NULL NULL,
    -- Some 100 columns
    customer_msisdn                       VARCHAR(255)   DEFAULT NULL              NULL,
    customer_email                        VARCHAR(255)   DEFAULT NULL              NULL,
    payment_date                          DATETIME2                   NOT NULL
);

CREATE NONCLUSTERED INDEX msisdn_idx ON transactions (customer_msisdn, payment_date, id);
CREATE NONCLUSTERED INDEX email_idx ON transactions (customer_email, payment_date, id);

Estou indexando cerca de 1 milhão de linhas por mês. Com muita frequência, preciso selecionar as transações dos últimos 3 meses por customer_msisdnou por customer_email99% do tempo de 50 a 1.000 registros.

Aqui está minha consulta para um pouco mais de visão:

SELECT t.*
FROM transactions t
         JOIN (SELECT t.id
               FROM transactions t
                        WITH (FORCESEEK)
               WHERE t.customer_email = :customerEmail
                 AND t.payment_date >= :startDate
                 AND t.payment_date < :endDate
               UNION
               SELECT t.id
               FROM transactions t
                        WITH (FORCESEEK)
               WHERE t.customer_msisdn = :customerMsisdn
                 AND t.payment_date >= :startDate
                 AND t.payment_date < :endDate) AS filtered_transactions
              ON t.id= filtered_transactions.id
ORDER BY t.payment_date;

E eu sinto que desde que :endDateé sempre agora (e quando não, pode tolerar falhas) e :startDateé sempre três meses atrás, eu tenho algum espaço para melhorias. Aqui está o que eu pensei:

Crie uma exibição indexada com um filtro em payment_date:

CREATE VIEW [dbo].transactions_iv
    WITH SCHEMABINDING AS
SELECT [t].id,
       -- All the rows
       [t].customer_msisdn,
       [t].customer_phone,
       [t].payment_date
FROM [dbo].[transactions] [t]
WHERE [t].payment_date >= DATEADD(MONTH, -3, CURRENT_TIMESTAMP);

e meus índices:

CREATE NONCLUSTERED INDEX msisdn_iv_idx ON transactions_iv (customer_msisdn, id);
CREATE NONCLUSTERED INDEX phone_iv_idx ON transactions_iv (customer_phone, id);

e elimine as AND t.payment_date >= :startDate AND t.payment_date < :endDatecláusulas completamente da consulta. A consulta se torna:

SELECT t.*
FROM transactions_iv t
         JOIN (SELECT t.id
               FROM transactions_iv t
                        WITH (FORCESEEK)
               WHERE t.customer_email = :customerEmail
               UNION
               SELECT t.id
               FROM transactions_iv t
                        WITH (FORCESEEK)
               WHERE t.customer_msisdn = :customerMsisdn) AS filtered_transactions
              ON t.id= filtered_transactions.id
ORDER BY t.payment_date;

Como a exibição tem apenas as transações dos últimos 3 meses, estou assumindo que os índices também terão. Essa suposição está correta? O índice seria atualizado apenas para cobrir os registros dos últimos 3 meses e eu obteria meu aumento de desempenho?


Outra alternativa é:

  1. Crie outra tabela idêntica,
  2. Preenchê-lo com um gatilho na tabela principal
  3. Com um cron job, exclua registros com mais de 3 meses todas as noites.

Como essa opção se compara à anterior?

sql-server index
  • 1 1 respostas
  • 869 Views

1 respostas

  • Voted
  1. Best Answer
    Paul White
    2021-09-04T03:12:47+08:002021-09-04T03:12:47+08:00

    Sua exibição indexada não pode ser criada como escrita porque não é determinística. As linhas cairiam fora de vista com o passar do tempo.

    Sua consulta atual provavelmente está produzindo um plano de execução como:

    Plano atual

    Deixando de lado a questão de tabelas separadas e visualizações indexadas por um momento, experimente a seguinte reescrita menor (usando índices existentes):

    SELECT t.*
    FROM transactions t
    JOIN 
    (
        SELECT t.id, t.payment_date
        FROM transactions t
        WHERE
            t.customer_email = @customerEmail
            AND t.payment_date >= @startDate
            AND t.payment_date < @endDate
        UNION
        SELECT t.id, t.payment_date
        FROM transactions t
        WHERE 
            t.customer_msisdn = @customerMsisdn
            AND t.payment_date >= @startDate
            AND t.payment_date < @endDate
    ) AS filtered_transactions
        ON filtered_transactions.id = t.id
    ORDER BY 
        filtered_transactions.payment_date;
    

    Observe as colunas extras t.payment_dateno UNION, e o ORDER BYmudou para filtered_transactions.payment_date. Isso não é semanticamente diferente da sua consulta, mas ajudará o otimizador a encontrar o melhor plano.

    Você deve obter um plano de execução bastante eficiente, como:

    Forma de plano desejada

    O otimizador realmente deve selecionar essa forma de plano (ou talvez uma versão paralela), mas se não, uma ou mais dicas podem ser necessárias. Um exemplo extremo:

    SELECT t.*
    FROM
    (
        SELECT t.id, t.payment_date
        FROM transactions t
            WITH (FORCESEEK(email_idx(customer_email,payment_date)))
        WHERE
            t.customer_email = @customerEmail
            AND t.payment_date >= @startDate
            AND t.payment_date < @endDate
        UNION
        SELECT t.id, t.payment_date
        FROM transactions t
            WITH (FORCESEEK(msisdn_idx(customer_msisdn,payment_date)))
        WHERE 
            t.customer_msisdn = @customerMsisdn
            AND t.payment_date >= @startDate
            AND t.payment_date < @endDate
    ) AS filtered_transactions
    JOIN dbo.transactions AS t
        ON t.id = filtered_transactions.id
    ORDER BY 
        filtered_transactions.payment_date
    OPTION (FORCE ORDER, LOOP JOIN, MERGE UNION);
    
    • 4

relate perguntas

  • Quais são as principais causas de deadlocks e podem ser evitadas?

  • Quanto "Padding" coloco em meus índices?

  • Como determinar se um Índice é necessário ou necessário

  • O que significa "índice" em RDBMSs? [fechado]

  • Como criar um índice condicional no MySQL?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve