AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 10200
Accepted
Oleg Dok
Oleg Dok
Asked: 2012-01-06 05:49:18 +0800 CST2012-01-06 05:49:18 +0800 CST 2012-01-06 05:49:18 +0800 CST

Solução alternativa de limpeza de fantasma congelada do SQL Server necessária

  • 772

Tenho várias tabelas com quantidade de linhas entre 5M e 1,5G

Cada tabela possui seu campo BLOB, cujo tamanho varia de 100 bytes a 30 MBytes e que é armazenado como 'tipos de valor grande fora da linha' = ON

As tabelas são armazenadas em grupos de arquivos diferentes com 3-4 arquivos cada um em discos diferentes em LUNs diferentes em SAN muito rápida

Todos os dias, essas tabelas crescem para 5-100 Gb de tamanho e com 600k - 1,5M de linhas

Após um certo período de tempo , que varia de 2 semanas a 6 meses, algumas das linhas são excluídas ou movidas para o banco de dados de arquivo, portanto, não há linhas nas tabelas de trabalho com mais de 6 meses.

Configuração atual do servidor:

  • O mecanismo do servidor SQL é 2008 R2 SP1 Enterprise @ 24 núcleos, @ 64 Gb RAM
  • O SQL Server é executado com sinalizadores de inicialização extras:

-T 3640; (Elimina o envio de mensagens DONE_IN_PROC para o cliente para cada instrução no procedimento armazenado. Isso é semelhante à configuração de sessão de SET NOCOUNT ON, mas quando definido como um sinalizador de rastreamento, cada sessão do cliente é tratada dessa maneira)

-T 1118;(Alterna as alocações no tempDB de 1pg por vez (para as primeiras 8 páginas) em uma extensão.)

-T 2301;(Permite otimizações avançadas que são específicas para consultas de suporte à decisão. Esta opção se aplica ao processamento de suporte à decisão de grandes conjuntos de dados)

-T 1117;(Cresce todos os arquivos de dados de uma vez, caso contrário, ele será alternado.)

-E; (Aumenta o número de extensões alocadas para cada arquivo em um grupo de arquivos. Essa opção pode ser útil para aplicativos de data warehouse que possuem um número limitado de usuários executando varreduras de índice ou dados)

-T 834; (Faz com que o SQL Server use alocações de página grande do Windows para a memória alocada para o buffer pool, http://msdn2.microsoft.com/en-us/library/aa366720.aspx , http://support.microsoft. com/kb/920093 )

  • O SQL Server usa extensões de página grandes
  • O SQL Server utiliza a opção de inicialização rápida de arquivo
  • AUTOSHRINK está DESLIGADO para todos os bancos de dados

O problema é que, a partir de algum ponto do tempo de atividade do servidor (de alguns dias a meses) GHOST CLEANUP, o processo se recusa a realizar limpezas forçadas e simplesmente faz seu trabalho normal - limpa várias páginas em vários segundos ( which is seen thru Extended Events), o que não é adequado , porque não é capaz de limpar todas as linhas excluídas

O problema persiste desde os tempos do SQL Server 2005 RTM Enterprise

Como tentei resolver o problema:

  • Tentou forçar operações SCAN em índices clusterizados das tabelas
  • Tentou forçar operações SCAN, que envolvem todo o conteúdo da coluna BLOB em índices clusterizados das tabelas
  • sistema sp_clean_db_free_space & sp_clean_db_file_free_space
  • manualmente dbcc cleanpage(@dbid, @fileid, @page) para todos os arquivos e páginas no banco de dados
  • reconstruções e reorganização de índice clusterizado
  • recriando banco de dados
  • DBCC FORCEGHOSTCLEANUP

  • Quando executo a consulta:

    select * 
    from sys.dm_db_index_physical_stats(db_id(), object_id('ProblemTable'), 1, 0, 'detailed')
    

    Vejo milhões e dezenas de milhões de registros fantasmas, mas apenas para o tipo de unidade de alocação de LOB_DATA

As únicas coisas que ajudam:

  • parando o servidor com o comando SHUTDOWN ou reiniciando todo o host - ajuda, após reiniciar o processo GHOST CLEANUP é executado por algumas horas e realmente limpa todos os registros fantasmas
  • DBCC SHRINKFILE com opção EMPTYFILE - mover todos os dados de um arquivo para outro ou arquivos recém-criados limpa registros fantasmas apenas neste arquivo - o problema é que eu realmente odeio operações de redução. E isso leva de 3 a 4 dias para UM arquivo

a pergunta - existe alguma maneira programática (preferível) ou de manutenção para forçar o GHOST CLEANUP sem tempo de inatividade do servidor, porque o tempo de inatividade do servidor custa muito, até mesmo inaceitável - é de milhares a dezenas de milhares de dólares por hora

Problemas foram notados como os meus estão aqui:

  • http://support.microsoft.com/kb/932115
  • http://www.sqlservercentral.com/Forums/Topic496244-149-1.aspx

E o mesmo está aqui:

  • http://social.msdn.microsoft.com/Forums/en-US/sqldatabaseengine/thread/c023e51c-92ad-471b-89a6-8c93732ee6cb/
sql-server sql-server-2008-r2
  • 2 2 respostas
  • 8085 Views

2 respostas

  • Voted
  1. Best Answer
    Oleg Dok
    2013-07-11T00:31:01+08:002013-07-11T00:31:01+08:00

    Por fim, a MS reconheceu o problema como um bug: http://support.microsoft.com/kb/2622823

    Resumidamente: é fixado em

    • SQL Server 2008 SP3 CU4
    • SQL Server 2008 R2 CU10
    • SQL Server 2008 R2 SP1 CU4

    No Sql Server 2012 SP1, não estou enfrentando o problema por mais de um ano de tempo de execução.

    • 12
  2. mrdenny
    2012-01-06T23:54:07+08:002012-01-06T23:54:07+08:00

    Esse é o tipo de pergunta que deve ser feita ao CSS para que ele possa resolver o problema com você. Você provavelmente tem garantia de software e um contrato de suporte. Se você não fizer algumas centenas de dólares, não deve ser um grande negócio se reiniciar a instância custar milhares de dólares por hora.

    Você já tentou permitir que o banco de dados seja fechado e depois colocado online? Isso fará com que a recuperação de falhas seja executada e pode iniciar a limpeza fantasma.

    Você está escrevendo para a mesa com frequência? Por frequentemente, quero dizer o tempo todo?

    Quanto ao MSKB 932115, você está vendo os registros fantasmas sendo deixados apenas em todos os arquivos ou está limpando o primeiro arquivo no grupo de arquivos?

    Por que usar -T1117 e init de arquivo instantâneo?

    • 3

relate perguntas

  • SQL Server - Como as páginas de dados são armazenadas ao usar um índice clusterizado

  • Preciso de índices separados para cada tipo de consulta ou um índice de várias colunas funcionará?

  • Quando devo usar uma restrição exclusiva em vez de um índice exclusivo?

  • Quais são as principais causas de deadlocks e podem ser evitadas?

  • Como determinar se um Índice é necessário ou necessário

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Como ver a lista de bancos de dados no Oracle?

    • 8 respostas
  • Marko Smith

    Quão grande deve ser o mysql innodb_buffer_pool_size?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    restaurar a tabela do arquivo .frm e .ibd?

    • 10 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Como selecionar a primeira linha de cada grupo?

    • 6 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    pedrosanta Listar os privilégios do banco de dados usando o psql 2011-08-04 11:01:21 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST
  • Martin Hope
    bernd_k Quando devo usar uma restrição exclusiva em vez de um índice exclusivo? 2011-01-05 02:32:27 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve