AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 57817
Accepted
jcolebrand
jcolebrand
Asked: 2014-01-30 12:10:59 +0800 CST2014-01-30 12:10:59 +0800 CST 2014-01-30 12:10:59 +0800 CST

Como posso monitorar mais de perto esta tabela na produção para descobrir por que as linhas estão desaparecendo?

  • 772

Cenário:

Nós escrevemos software de banco on-line e, por enquanto (devido a decisões de design herdadas), estamos usando o Quartz 2.2 agora como um sistema de filas para executar algumas operações de longo prazo. [Vamos deixar de lado a discussão sobre se é a ferramenta certa, funcionou bem por muitos anos até atualizarmos para 2.2]

Parte desse quartz.net possui as seguintes tabelas (relacionadas) para esquema: https://gist.github.com/jcolebrand/8695603

Portanto, o processo é inserir registros nesta tabela, digamos, 80 mil registros. (Tenho três replicações do quartz.net atendendo a três configurações diferentes, uma com 80k de registros, outra com 50k, outra com 280k, então varia). Nós os inserimos de alguma outra tabela que é a tabela de registro, então reconstruir esta tabela não é uma perda terrível. O problema é descrito abaixo.

Eu tenho uma ferramenta que pode agendar essas tarefas em massa (a maioria das quais é única e acontecerá de duas semanas a vinte anos no futuro, novamente, trata-se do banco de dados e não das opções de arquitetura) e posso depurar a etapa completamente, veja as linhas serem inseridas na tabela sem preocupação. Posso monitorar a tabela e ver se eles são inseridos. Eu então volto 30 minutos depois (bem, esta parte varia. Não é determinístico quando eles desaparecem) e verifico se os registros estão faltando.

De 80k em uma instância, estou perdendo aproximadamente 2.700 registros. E quando executo minha ferramenta, vejo todos eles sincronizados e, depois de algum tempo, eles evaporaram novamente.

Aqui estão as coisas que eu tentei:

  • verificando o relatório de todas as transações no SSMS
  • verificando o relatório de todas as transações de bloqueio no SSMS
  • deixar meu aplicativo de agendamento aberto por muito tempo (caso, por alguma mágica, houvesse uma transação aberta e não confirmada)
  • reiniciando o aplicativo de serviço do Windows Quartz.net mantendo o banco de dados
  • inserindo registros com o serviço windows quartz.net desabilitado

Coisas que não experimentei:

  • reiniciando o servidor SQL
  • minhas consultas não usam "with(nolock)" [ouvi dizer que isso é ruim para o dia-a-dia]

Coisas que acho que devo fazer e não sei como:

  • execute o SQL Profiler na instância e monitore as instruções "excluir"
  • mágica para determinar se há uma transação não confirmada
  • sacrificar unicórnios
  • telefone para um amigo
  • duplo diário

@@versão:

Microsoft SQL Server 2008 R2 (SP2) - 10.50.4000.0 (X64)
28 de junho de 2012 08:36:30
Copyright (c) Microsoft Corporation
Standard Edition (64 bits) no Windows NT 6.1 (Build 7601: Service Pack 1) (Hypervisor )

EDITAR 2014-01-30

É imperativo, por razões internas, que eu possa demonstrar precisamente por que os registros estão desaparecendo, incluindo, entre outros:

  • exclusão por um usuário
  • transação não confirmada
  • deleção pelo próprio Quartz
  • alguns outros fenômenos inexplicáveis
  • efeito Borboleta
  • efeito de gatilho
  • unicórnios

Sempre que possível, preciso da instrução específica envolvida na exclusão.

TL;DR

Então, basicamente, o TL;DR é: os registros são inseridos. Por algum período de tempo de até pelo menos 30 minutos, o registro é definitivamente exibido em consultas na tabela. Depois de algum tempo, os registros não são mais exibidos em consultas na tabela.

O que da? O que estou deixando passar? Como você perfilaria isso EM PRODUÇÃO para ver o que está acontecendo aqui?

sql-server sql-server-2008-r2
  • 2 2 respostas
  • 722 Views

2 respostas

  • Voted
  1. Aaron Bertrand
    2014-01-30T12:18:48+08:002014-01-30T12:18:48+08:00

    Se você não espera que nenhuma linha seja excluída dessa tabela, a maneira mais simples e menos impactante de capturar alguém executando exclusões seria um gatilho de exclusão. Você pode usar um gatilho INSTEAD OF se quiser registrar e impedir, ou um gatilho posterior se quiser apenas registrar. Primeiro, uma tabela de registro:

    CREATE TABLE dbo.CatchTheDoNoGooders
    (
      [JOB_NAME] [nvarchar](200),
      [JOB_GROUP] [nvarchar](200),
      [SCHED_NAME] [varchar](120),
      UserName SYSNAME,
      HostName SYSNAME,
      Program NVARCHAR(4000),
      IP VARCHAR(15),
      EventDate DATETIME
    );
    

    Agora, um gatilho INSTEAD OF INSERT, poderia registrar os DELETEs, mas não realizar:

    CREATE TRIGGER dbo.InsteadDelete_QRTZ_JOB_DETAILS
      ON dbo.QRTZ_JOB_DETAILS
      INSTEAD OF DELETE
    AS
    BEGIN
      SET NOCOUNT ON;
    
      DECLARE @ip VARCHAR(15), @hn SYSNAME, @prog NVARCHAR(4000);
    
      SELECT TOP (1) @ip = client_net_address 
        FROM sys.dm_exec_connections
        WHERE session_id = @@SPID;
    
      SELECT TOP (1) @hn = [host_name], @prog = LEFT([program_name],4000)
        FROM sys.dm_exec_sessions
        WHERE session_id = @@SPID;
    
      INSERT dbo.CatchTheDoNoGooders
      SELECT JOB_NAME, JOB_GROUP, SCHED_NAME,
        SUSER_SNAME(), @hn, @prog, @ip, CURRENT_TIMESTAMP
        FROM deleted;
    END
    GO
    

    Mude INSTEAD OFpara FORe agora você tem um gatilho AFTER que ainda permitirá que a exclusão aconteça, mas registrará todos eles de qualquer maneira. Isso pode ser melhor se você tiver algumas exclusões legais acontecendo, mas quiser determinar quem está excluindo as coisas erradas.

    A beleza é que, em ambos os casos, isso só tem algum impacto se e quando uma exclusão for realmente emitida na tabela.

    • 3
  2. Best Answer
    Mike Fal
    2014-01-30T12:39:52+08:002014-01-30T12:39:52+08:00

    Eu depuraria isso usando um rastreamento do lado do servidor . Essencialmente, o motivo pelo qual o Profiler é problemático na produção é porque ele é um aplicativo cliente. Se você tentar rastrear muito e o SQL Server estiver tentando gerenciar essa comunicação entre o servidor e o cliente, isso poderá atrapalhar as coisas. Então, em vez disso, você pode criar o script do rastreamento como um script T-SQL e executá-lo no próprio servidor. Ele irá capturar as informações para um arquivo de rastreamento, então você pode levar esse arquivo de rastreamento para outro lugar e revisá-lo.

    Para fazer o script do rastreamento, abra o Profiler e selecione seus eventos. Como você está preocupado com a possibilidade de as declarações não serem confirmadas/concluídas, eu recomendaria

    • RPC: Iniciando/concluído
    • SP: Iniciando/Concluído
    • SQL: BatchStarting/BatchCompleted

    Colunas relevantes incluídas. Filtre conforme necessário (como nome do banco de dados, talvez duração)

    Em seguida, clique em 'Executar', mas pare imediatamente. Neste ponto, vá para a barra de ferramentas e selecione: Arquivo->Exportar->Definição de rastreamento de script->Para SQL Server... Isso solicitará que você salve um script em algum lugar. Depois de salvá-lo, abra-o.

    Antes de executá-lo, especifique um nome de arquivo e um caminho (substitua InsertFileNameHere). Em seguida, execute para iniciar o rastreamento. O rastreamento continuará a ser executado até que você o interrompa. Para pará-lo, certifique-se de saber o ID de rastreamento, que é retornado quando você executa o script. Se você não consegue se lembrar, veja sys.traces. Depois de obter a ID de rastreamento, você pode interrompê-lo usando sp_settracestatus para definir o status como 0 para interrompê-lo. Uma vez definido como 0, você pode defini-lo como 2 para excluí-lo.

    Depois de pará-lo, você deve ter um arquivo de rastreamento para revisar e identificar o que está acontecendo com seus processos. O arquivo de rastreio pode ser visualizado por meio do aplicativo Profiler.

    • 3

relate perguntas

  • SQL Server - Como as páginas de dados são armazenadas ao usar um índice clusterizado

  • Preciso de índices separados para cada tipo de consulta ou um índice de várias colunas funcionará?

  • Quando devo usar uma restrição exclusiva em vez de um índice exclusivo?

  • Quais são as principais causas de deadlocks e podem ser evitadas?

  • Como determinar se um Índice é necessário ou necessário

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve