Temos um processo que gera um relatório de inventário. No lado do cliente, o processo se divide em um número configurável de threads de trabalho para criar um bloco de dados para o relatório que corresponde a um armazenamento entre muitos (potencialmente milhares, geralmente dezenas). Cada thread de trabalho chama um serviço da Web que executa um procedimento armazenado.
O processo de banco de dados para processar cada bloco reúne um monte de dados em uma tabela #Temporary. No final de cada bloco de processamento, os dados são gravados em uma tabela permanente em tempdb. Por fim, ao final do processo, um thread do lado do cliente solicita todos os dados da tabela tempdb permanente.
Quanto mais usuários executam esse relatório, mais lento ele fica. Analisei a atividade no banco de dados. A certa altura, vi 35 solicitações separadas, todas bloqueadas em um ponto do processo. Todos esses SPIDs tiveram esperas da ordem de 50 ms do tipo LATCH_EX
no recurso METADATA_SEQUENCE_GENERATOR (00000010E13CA1A8)
. Um SPID tem esse recurso e todos os outros estão bloqueando. Não encontrei nada sobre esse recurso de espera em uma pesquisa na web.
A tabela em tempdb que estamos usando tem uma IDENTITY(1,1)
coluna. Esses SPIDs estão aguardando a coluna IDENTITY? Que métodos poderíamos usar para reduzir ou eliminar o bloqueio?
O servidor faz parte de um cluster. O servidor está executando o SQL Server 2012 Standard Edition SP1 de 64 bits no Windows 2008 R2 Enterprise de 64 bits. O servidor tem 64 GB de RAM e 48 processadores, mas o banco de dados só pode usar 16 por ser a edição padrão.
(Observe que não estou entusiasmado com o design de usar uma tabela permanente em tempdb para armazenar todos esses dados. Mudar isso seria um desafio técnico e político interessante, mas estou aberto a sugestões.)
ATUALIZAÇÃO 23/04/2013
Abrimos um caso de suporte com a Microsoft. Manterei esta pergunta atualizada à medida que aprendermos mais.
ATUALIZAÇÃO 10/05/2013
O engenheiro de suporte do SQL Server concordou que as esperas foram causadas pela coluna IDENTITY. A remoção da IDENTIDADE eliminou as esperas. Não foi possível duplicar o problema no SQL 2008 R2; ocorreu apenas no SQL 2012.
(Atualizado em fevereiro de 2019)
Este é um post antigo, que dizia que finalmente consegui convencer a Microsoft de que o próprio fato de isso acontecer é realmente um defeito.
Atualização: MS confirmou o defeito e atribuiu a ele um número de bug de 12628722.
Eu tinha visto esta postagem em novembro de 2018, quando começamos a sofrer da mesma forma depois de atualizarmos do Sql Server 2005 para o Sql Server 2017. Uma tabela de 3,3 milhões de linhas que costumava levar 10 segundos para inserir em massa de repente começou a levar 10 minutos em tabelas com
Identity
colunas.Acontece que há dois problemas por trás disso:
Levei 4 semanas, mas logo após as férias recebi um presente atrasado do Papai Noel - a confirmação de que o problema era realmente um defeito.
Existem algumas soluções possíveis que encontramos até que isso seja corrigido:
Option (MaxDop 1)
na consulta para transformar a inserção em massa de volta em um plano serializado.Select Cast(MyIdentityColumn As Integer) As MyIdentityColumn
)SELECT...INTO
Atualização: a correção que a MS implementará será retornar esses tipos de inserções de volta ao uso de um
Serialized
plano. Isso está planejado para o Sql Server 2017 CU14 (sem novidades em outras versões do Sql Server - desculpe!). Quando implementado, o Trace Flag 9492 precisará ser ativado, no nível do servidor ou viaDBCC TraceOn
.Supondo que você possa isolar o problema para a geração de valores de identidade (tente remover essa coluna como teste), o que eu recomendaria é o seguinte:
IDENTITY
propriedade da coluna na tabela final.Portanto, se você tiver os IDs de loja 3 e 4, acabará com os valores de id finais como este:
Ou algo parecido com isso. Você entendeu a ideia.
Isso eliminará a necessidade de serializar na
IDENTITY
geração, preservando a exclusividade no resultado final.Como alternativa, dependendo de como o processo funciona, insira os valores de id calculados finais nas #Tabelas temporárias. Em seguida, você pode criar uma exibição que
UNION ALL
os reúna, eliminando a necessidade de copiar os dados.