AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / user-20770

Dharmedra Keshari's questions

Martin Hope
Dharmedra Keshari
Asked: 2018-04-15 04:19:47 +0800 CST

Qual é a maneira mais rápida de limpar dados?

  • 18

Cenário:

Temos duas tabelas Tbl1e Tbl2no Servidor do Assinante. O Tbl1está sendo replicado do Publisher Server Ae possui dois gatilhos - inserir e atualizar. Os gatilhos estão inserindo e atualizando os dados em arquivos Tbl2.

Agora, temos que limpar (aprox. 900 milhões de registros) dos Tbl2quais tem um total de 1.000+ milhões de registros. Abaixo está a distribuição de dados de um mês a um minuto.

  • Um mês - 14986826 linhas
  • Um dia - 483446 linhas
  • Uma hora - 20143 linhas
  • Um minuto - 335 linhas

O que estou procurando;

A maneira mais rápida de limpar esses dados sem nenhum problema de produção, consistência de dados e possivelmente sem tempo de inatividade. Então, estou pensando em seguir os passos abaixo, mas preso :(

Passos:

  1. BCP Retirar os dados necessários da tabela Tbl2 existente (cerca de 100 milhões de registros, pode demorar aprox. 30 minutos).
    • Vamos supor que eu comecei a fazer a atividade em 1Fab2018 22:00, ela terminou em 1Fab2018 22:30. Quando a atividade for concluída, a tabela Tbl2 obterá novos registros que se tornarão delta
  2. Crie uma nova tabela no banco de dados com o nome Tbl3
  3. BCP nos dados exportados para a tabela recém-criada Tbl3 (cerca de 100 milhões de registros, pode levar aprox. 30 minutos)
  4. Parar o trabalho de replicação
  5. Depois que o BCP-in for concluído, use o script tsql para inserir os novos dados delta.

  6. O desafio é - Como lidar com a declaração de “atualização” do delta?

  7. Iniciar a replicação

Pergunta adicional:

Qual é a melhor maneira de lidar com o cenário?

sql-server trigger
  • 1 respostas
  • 13675 Views

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve