AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 140387
Accepted
luqo33
luqo33
Asked: 2016-06-05 03:13:41 +0800 CST2016-06-05 03:13:41 +0800 CST 2016-06-05 03:13:41 +0800 CST

Atualizando registros do passado com consulta MySQL

  • 772

Criei um aplicativo que busca relatórios de uma fonte externa. Ele baixa os dados do relatório uma vez por dia. Cada relatório cobre o período de agora até 30 dias atrás.

Por exemplo, digamos que é 1º de maio e o relatório foi baixado nos últimos 30 dias e terminamos com 30 linhas na tabela (vamos fazer com que cada dia seja representado por uma linha). Então, em 2 de maio, buscamos o relatório e terminamos com 31 linhas na tabela - 1 linha do relatório obtido em 1º de maio e 30 linhas de 2 de maio. 29 linhas mais antigas que se sobrepõem são descartadas. As linhas do relatório mais recente as substituem. Então, em 3 de maio, terminamos com 32 linhas na tabela, 4 de maio, 33 linhas, etc.

Agora a consulta que faz a limpeza dos dados antigos na minha aplicação fica assim (registros com a mesma data que possuem um ID menor são excluídos):

DELETE FROM $tableName WHERE id NOT IN (SELECT MAX(id) FROM (SELECT * FROM $tableName) AS sth GROUP BY $date

O problema é que essa consulta é muito ineficiente. À medida que a quantidade de dados na tabela aumenta, ela começa a matar o servidor de banco de dados, pois cada instrução select é aplicada a todo o conjunto de dados. Também NOT INe MAXtornam-se cada vez menos eficientes à medida que o número de linhas aumenta.

O sistema precisa atualizar as linhas do passado, pois a fonte externa normaliza os backwords de dados no tempo, de modo que os registros do passado mudem ocasionalmente e estou sempre interessado nos últimos 30 dias.

Eu ficaria grato por conselhos sobre como posso otimizar esta parte do aplicativo, como posso superar o problema de desempenho desta SELECTdeclaração DELETE.

mysql performance
  • 1 1 respostas
  • 51 Views

1 respostas

  • Voted
  1. Best Answer
    jkavalik
    2016-06-05T03:41:37+08:002016-06-05T03:41:37+08:00

    Defina uma chave única em sua tabela de forma que cada dia possa ser representado apenas por uma linha ( UNIQUE KEY(date)seria suficiente para o exemplo que você mostra). Então use

    INSERT INTO $tablename(...) VALUES(...)
        ON DUPLICATE KEY UPDATE col1=VALUES(col1), col2=VALUES(col2);
    

    Como alternativa, você pode usar REPLACE INTO, mas isso exclui e insere, "gravando" por meio de IDs de incremento automático que você parece ter.

    Você pode até usar a datecoluna como uma PRIMARY KEYcom esta configuração.

    • 1

relate perguntas

  • Onde posso encontrar o log lento do mysql?

  • Como posso otimizar um mysqldump de um banco de dados grande?

  • Quando é o momento certo para usar o MariaDB em vez do MySQL e por quê?

  • Como um grupo pode rastrear alterações no esquema do banco de dados?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve