Início / dba / Perguntas / 258513
Accepted
j4nd3r53n
Asked: 2020-01-31 02:17:51 +0800 CST

Arquivamento de dados antigos combinado com replicação para data warehouse

  • 772

Eu tenho uma configuração que tenho certeza que não é inédita (este é o MySQL 5.5, mas atualizando):

Eu tenho um banco de dados OLTP em rápido crescimento, que estou replicando para um banco de dados OLAP. Quero começar a arquivar as tabelas que mais crescem no banco de dados OLTP, mas quero que o banco de dados OLAP acumule tudo sem a parte de arquivamento. Existe uma maneira fácil de conseguir isso, ou então inventei meus próprios procedimentos?

mysql

1 respostas

  1. Best Answer

    Considere o seguinte...

    • O Mestre está coletando dados "brutos" em uma tabela "Fatos". (Estou usando a terminologia Data Wherehouse; espero que a analogia funcione.)
    • A tabela de fatos não é replicada. Mas é PARTITIONedpor data para arquivamento eficiente. (Podemos discutir isso separadamente.) (Se você precisar de 'alguma' da tabela Fato replicada, podemos discutir isso.)
    • No Master, algumas "Tabelas de Resumo" ("rollups") são criadas e mantidas.
    • As tabelas de resumo são replicadas. Consultar esses itens será muito mais rápido do que a tabela de fatos.

    Discussão DW: http://mysql.rjweb.org/doc.php/datawarehouse
    Tabelas de resumo: http://mysql.rjweb.org/doc.php/summarytables
    Poda de séries temporais: http://mysql.rjweb.org/ doc.php/partitionmaint

    Se você quiser se aprofundar nessas ideias, forneça mais detalhes sobre o aplicativo e seus dados.

    • 1

relate perguntas