Estamos executando o Oracle 11.2.0.4.0. É um banco de dados transacional que está online desde 2011. Temos a tarefa de limpar registros antigos.
A estrutura da tabela é (pai->filho):
A->BC->D->E
E tem tabelas filhas F, G->H
Todas as tabelas possuem datas exceto H. Existem relações PK-FK para a estrutura da tabela descrita.
No momento, todas as tabelas, exceto G, têm cerca de 70 milhões de registros. G tem cerca de 500 milhões de registros.
Se eu tentar excluir juntando as tabelas, a consulta sozinha em um backup de produção levará vários minutos para ser executada apenas para a consulta. Além disso, os requisitos para exclusão removerão vários milhões de linhas de uma só vez. temos uma janela de tempo limitada para executar exclusões.
Eu executei algumas análises de dados e atualmente a exclusão removerá cerca de 40% dos dados. Além disso, o sistema não pode ser desativado por um longo período de tempo.
Qual é a melhor estratégia para remover os registros antigos?
Possíveis estratégias/abordagens:
Sete exclusões usando subconsultas/junções para obter os IDs a serem removidos. Estaríamos juntando até 7 tabelas (menor filho).
Consulte cada tabela em busca de IDs a serem excluídos e armazene-os em uma tabela temporária. O uso dessa tabela temporária obtém os registros para o próximo filho. Depois de ter todos os IDs, exclua os registros com algo assim:
delete from H where PKID IN (Selecione PKID from tempH) delete from G where PKID IN (Selecione PKID from tempG)
Haveria outras alternativas possíveis? Provavelmente, eu executaria esse processo várias vezes, excluindo uma quantidade X de dados. (Valor da semana/Valor dos meses, etc.) Acho que não consigo acompanhar uma exclusão massiva.
Não está claro o que você quer dizer com "período de tempo prolongado" ou por que associa a exclusão de linhas com a "derrubada" do sistema. Se for aceitável (por uma questão de política) excluir linhas enquanto o sistema estiver em uso de produção, desde que as exclusões não afetem negativamente o desempenho, o truque é mordiscar os dados.
Tome alguma unidade de dados -- uma conta, um dia, um mês, algo "razoável" -- como uma "unidade de exclusão". O número de linhas afetadas não importa (desde que seja > 0); o que importa é que o sistema possa executar a exclusão sem "derrubar o sistema" em termos de tempo de resposta da produção. Escreva seu procedimento como um DELETE para cada tabela, tomando como parâmetro o valor da unidade de exclusão. Você não precisa envolvê-los em uma transação se o processo puder continuar de onde parou após um erro. Escreva um loop para chamar esse procedimento para valores sucessivos. Se desejar, durma entre as iterações.
Por exemplo, comece com o mês mais antigo. Remova os dados associados para H, G, F, E, D, C, B e A. Obtenha o próximo mês mais antigo, repita.
Como esses são dados que você deseja apenas remover, não há contenção de dados com o sistema de produção. Deve ser capaz de cozinhar alegremente. Desde que suas transações não sejam "muito grandes", cada exclusão individual não induzirá a contenção de recursos por muito tempo. Escolha bem e o sistema de produção dificilmente notará.
Mas, em vez disso, você pode querer dizer que não pode executar sua exclusão durante o horário de trabalho, que receberá o sistema por 30 minutos na madrugada para fazer sua ação. Isso significa remover o máximo de linha/segundo, uma métrica altamente dependente do sistema e do banco de dados.
Da mesma forma, se é uma boa ideia excluir milhões de linhas de uma só vez, depende do sistema. Vinte anos atrás, isso seria absurdo em qualquer sistema que eu já tivesse visto. Hoje em dia, é rotina em grandes bancos de dados. Tudo depende do que você está trabalhando.