Início / dba / Perguntas / 173638
Accepted
BradC
Asked: 2017-05-16 13:23:02 +0800 CST

O banco de dados SQL Master Data Services tem uma enorme tabela de teste de membro folha - posso limpar registros antigos?

  • 772

Uma de nossas instâncias SQL tem um grande banco de dados MDS e praticamente 100% do tamanho se deve a uma tabela de mais de 300 milhões de linhas chamada stg.Stg_Project_Leaf. Recentemente, começou a explodir nossas reconstruções de índice semanais, então preciso descobrir isso.

Pelo que posso dizer, esta é uma Tabela de Preparação de Membros Folha para uma entidade "Projeto", configurada e automatizada (por um consultor anterior) como parte de um processo ETL que cria cubos/relatórios de BI.

Parece que ele vem processando cerca de 10 mil linhas por meia hora nos últimos anos e nunca foi purgado. Quando eu verifico o ImportStatus_ID, porém, vejo 0 linhas esperando para serem processadas. (A maioria é 1 - com sucesso, menos de 1% são 2 - com falha.)

Posso só TRUNCATEesta mesa?

Este sistema está sendo usado de forma automatizada, não é como se as pessoas estivessem entrando no console do MDS e monitorando individualmente e revertendo as alterações. Encontrei algumas referências a procedimentos armazenados que limpam essas tabelas ( mdm.udpStagingClearou talvez mdm.udpDeletedMembersPurge), mas não tenho certeza de qual delas é a que eu preciso, nem sei se eles explodiriam o log se tentassem fazer 300m fileiras de uma vez.

sql-server sql-server-2012

1 respostas

  1. Best Answer

    Resumindo : A resposta oficial é usar o novo proc mdm.udpEntityStagingBatchTableCleanuppara limpar as tabelas de teste da entidade, mas na prática, DELETEou TRUNCATEdeve funcionar bem (ou pode ser necessário), desde que você entenda os detalhes do lote.

    Encontrei referência a um patch do SQL 2012 que adiciona 3 procedimentos armazenados ao MDS, incluindo o que preciso:

    --Cleanup entity-based staging table
EXEC mdm.udpEntityStagingBatchTableCleanup @ModelID, @CleanupOlderThanDate;

    Consulte também este artigo para opções de limpeza agendada utilizando os mesmos procs.

    Para o meu propósito, porém, eu ainda estava preocupado em explodir o log tran com mais de 300 milhões de linhas que precisavam ser excluídas, então examinei detalhadamente o funcionamento interno do mdm.udpEntityStagingBatchTableCleanup. Este proc armazenado faz o seguinte:

    1. Preenche uma tabela temporária com todos os lotes concluídos que correspondem aos seus critérios de exclusão (para o @Model_ID, anterior a @CleanupOlderThanDate).
    2. Cria DELETEinstruções dinâmicas para as tabelas Folha, Consolidada e Relacionamento correspondentes para cada uma DISTINCT Entity_IDna tabela temporária.
    3. Ele executa cada uma dessas DELETEinstruções para cada tabela de entidade, filtrada por meio de uma junção à tabela temporária.
    4. Em seguida, ele exclui de mdm.tblStgBatchsi mesmo, novamente filtrado por junção à tabela temporária.

    Não há tentativa de limitar a quantidade de linhas excluídas de uma só vez e, no meu caso, as mais de 300 milhões de linhas são todas para um único Entity_ID, o que provavelmente explodiria o log de transações.

    A boa notícia, no entanto, é que, se eu pretendo remover todas Entity_IDse todas as datas de qualquer maneira (o que faço), isso é funcionalmente equivalente a um TRUNCATE, desde que eu tenha cuidado para não tentar no meio de um lote ativo.

    Por fim, embora não tenha encontrado nenhuma fonte oficial do MS que recomendasse explicitamente o truncamento dessas tabelas, encontrei vários artigos em que os DBAs fazem uma rotina TRUNCATEno início ou no final do processo de importação:

    Portanto, meu plano é fazer uma inicial TRUNCATEe, em seguida, agendar mdm.udpEntityStagingBatchTableCleanuppara ser executado periodicamente.

    • 2

relate perguntas