AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / 问题

All perguntas(dba)

Martin Hope
Joe Obbish
Asked: 2022-11-19 13:13:44 +0800 CST

Por que um simples procedimento armazenado compilado nativamente fica sem memória quando variáveis ​​de tabela são usadas?

  • 18

Minha versão do SQL Server é SQL Server 2019 (RTM-CU18). O código de reprodução a seguir requer que um grupo de arquivos na memória seja criado. Para quem está acompanhando, lembre-se de que um grupo de arquivos na memória não pode ser descartado de um banco de dados depois de criado.

Eu tenho uma tabela simples na memória na qual insiro números inteiros de 1 a 1200:

DROP TABLE IF EXISTS [dbo].[InMem];

CREATE TABLE [dbo].[InMem] (
    i [int] NOT NULL,
    CONSTRAINT [PK_InMem]  PRIMARY KEY NONCLUSTERED (i ASC)
) WITH ( MEMORY_OPTIMIZED = ON , DURABILITY = SCHEMA_ONLY );

INSERT INTO [dbo].[InMem]
SELECT TOP (1200) ROW_NUMBER() OVER (ORDER BY (SELECT NULL))
FROM master..spt_values t1
CROSS JOIN master..spt_values t2;

Eu também tenho o seguinte procedimento armazenado compilado nativamente:

GO

CREATE OR ALTER PROCEDURE p1
WITH NATIVE_COMPILATION, SCHEMABINDING 
AS
BEGIN ATOMIC WITH (TRANSACTION ISOLATION LEVEL = SNAPSHOT, LANGUAGE = N'us_english')
    SELECT c1.i, c2.i, c3.i
    FROM dbo.[InMem] c1
    CROSS JOIN dbo.[InMem] c2
    CROSS JOIN dbo.[InMem] c3
    WHERE c1.i + c2.i + c3.i = 3600;
END;

GO  

O procedimento retorna uma linha quando executado. Na minha máquina, leva cerca de 32 segundos para ser concluído. Não consigo observar nenhum comportamento incomum em termos de uso de memória durante a execução.

Posso criar um tipo de tabela semelhante:

CREATE TYPE [dbo].[InMemType] AS TABLE(
i [int] NOT NULL,
INDEX [ix_WordBitMap] NONCLUSTERED (i ASC)
) WITH ( MEMORY_OPTIMIZED = ON );

bem como o mesmo procedimento armazenado, mas usando o tipo de tabela:

GO

CREATE OR ALTER PROCEDURE p2 (@t dbo.[InMemType] READONLY)
WITH NATIVE_COMPILATION, SCHEMABINDING 
AS
BEGIN ATOMIC WITH (TRANSACTION ISOLATION LEVEL = SNAPSHOT, LANGUAGE = N'us_english')
    SELECT c1.i, c2.i, c3.i
    FROM @t c1
    CROSS JOIN @t c2
    CROSS JOIN @t c3
    WHERE c1.i + c2.i + c3.i = 3600;
END;

GO

O novo procedimento armazenado gera um erro após cerca de um minuto:

Msg 701, Nível 17, Estado 154, Procedimento p2, Linha 6 [Batch Start Line 57] Não há memória de sistema suficiente no pool de recursos 'padrão' para executar esta consulta.

Enquanto o procedimento é executado, posso ver a quantidade de memória usada pelo secretário de memória MEMORYCLERK_XTP aumentar para cerca de 2800 MB para o banco de dados consultando o sys.dm_os_memory_clerksdmv. De acordo com o sys.dm_db_xtp_memory_consumersDMV, quase todo o uso de memória parece ser do consumidor "pool de páginas de 64K":

insira a descrição da imagem aqui

insira a descrição da imagem aqui

Para referência, aqui está como executei o novo procedimento armazenado. Ele usa as mesmas 1200 linhas da tabela:

DECLARE @t dbo.[InMemType];

INSERT INTO @t (i)
SELECT i
from [dbo].[InMem];

EXEC p2 @t;

O plano de consulta resultante é um plano de loop aninhado simples sem operadores de bloqueio. Por solicitação, aqui está um plano de consulta estimado para o segundo procedimento armazenado.

Não entendo por que o uso de memória aumenta para mais de 2 GB para essa consulta quando uso um parâmetro com valor de tabela. Eu li vários pedaços de documentação e white papers OLTP na memória e não consigo encontrar nenhuma referência a esse comportamento.

Usando o rastreamento ETW, posso ver que o primeiro procedimento gasta a maior parte do tempo da CPU chamando hkengine!HkCursorHeapGetNexte o segundo procedimento gasta a maior parte do tempo da CPU chamando hkengine!HkCursorRangeGetNext. Também posso obter o código-fonte C para ambos os procedimentos. O primeiro procedimento está aqui e o segundo procedimento, com o problema de memória, está aqui . No entanto, não sei ler o código C, então não sei como investigar mais.

Por que um procedimento armazenado simples compilado nativamente usa mais de 2 GB de memória ao executar loops aninhados em um parâmetro com valor de tabela? O problema também ocorre quando executo a consulta fora de um procedimento armazenado.

sql-server
  • 1 respostas
  • 646 Views
Martin Hope
Joseph Shirk
Asked: 2020-02-28 12:59:15 +0800 CST

Cláusula JOIN ON estranha no T-SQL

  • 18

Estou desembaraçando alguns códigos legados e nunca em todos os meus anos vi isso:

Select * 

FROM GLAccounts
INNER JOIN GLCharts
    ON glaGLChartID = glcGLChartID
LEFT JOIN GLCategories
    ON glcGLCategoryID = gltGLCategoryID
INNER JOIN GLDepartments
    ON glaGLDepartmentID = gldGLDepartmentID
INNER JOIN GLDivisions
    ON glaGLDivisionID = glvGLDivisionID
        ,GLFiscalYearPeriods                --<this comma>
INNER JOIN GLFiscalYears
    ON glfGLFiscalYearID = glzGLFiscalYearID


ORDER BY glcGLCategoryID
    ,glcParentGLChartID
    ,glaGLChartID

a junção funciona, mas não encontro esse uso de vírgula em nenhuma referência de sintaxe T-SQL para a cláusula ON.

O que está acontecendo aqui? TIA

sql-server t-sql
  • 3 respostas
  • 1663 Views
Martin Hope
FastTurtle
Asked: 2019-08-02 04:42:08 +0800 CST

Tente o equivalente de captura no Postgres

  • 18

Temos um equivalente try catch no Postgres? Eu escrevi algumas funções definidas pelo usuário que são chamadas pelo gatilho. Eu (não) quero ignorar erros para que o fluxo não seja interrompido.

postgresql postgresql-9.6
  • 1 respostas
  • 44752 Views
Martin Hope
Paul White
Asked: 2019-06-06 06:08:22 +0800 CST

CROSS APPLY produz junção externa

  • 18

Em resposta à contagem de SQL distinta na partição , Erik Darling postou este código para contornar a falta de COUNT(DISTINCT) OVER ():

SELECT      *
FROM        #MyTable AS mt
CROSS APPLY (   SELECT COUNT(DISTINCT mt2.Col_B) AS dc
                FROM   #MyTable AS mt2
                WHERE  mt2.Col_A = mt.Col_A
                -- GROUP BY mt2.Col_A 
            ) AS ca;

A consulta usa CROSS APPLY(não OUTER APPLY), então por que há uma junção externa no plano de execução em vez de uma junção interna ?

insira a descrição da imagem aqui

Além disso, por que descomentar a cláusula group by resulta em uma junção interna?

insira a descrição da imagem aqui

Eu não acho que os dados sejam importantes, mas copiando os dados fornecidos por kevinwhat na outra pergunta:

create table #MyTable (
Col_A varchar(5),
Col_B int
)

insert into #MyTable values ('A',1)
insert into #MyTable values ('A',1)
insert into #MyTable values ('A',2)
insert into #MyTable values ('A',2)
insert into #MyTable values ('A',2)
insert into #MyTable values ('A',3)

insert into #MyTable values ('B',4)
insert into #MyTable values ('B',4)
insert into #MyTable values ('B',5)
sql-server execution-plan
  • 2 respostas
  • 2588 Views
Martin Hope
Michael B
Asked: 2019-05-03 06:13:46 +0800 CST

Por que essa tabela derivada melhora o desempenho?

  • 18

Eu tenho uma consulta que leva uma string json como parâmetro. O json é uma matriz de pares de latitude e longitude. Um exemplo de entrada pode ser o seguinte.

declare @json nvarchar(max)= N'[[40.7592024,-73.9771259],[40.7126492,-74.0120867]
,[41.8662374,-87.6908788],[37.784873,-122.4056546]]';

Ele chama um TVF que calcula o número de POIs em torno de um ponto geográfico, a distâncias de 1,3,5,10 milhas.

create or alter function [dbo].[fn_poi_in_dist](@geo geography)
returns table
with schemabinding as
return 
select count_1  = sum(iif(LatLong.STDistance(@geo) <= 1609.344e * 1,1,0e))
      ,count_3  = sum(iif(LatLong.STDistance(@geo) <= 1609.344e * 3,1,0e))
      ,count_5  = sum(iif(LatLong.STDistance(@geo) <= 1609.344e * 5,1,0e))
      ,count_10 = count(*)
from dbo.point_of_interest
where LatLong.STDistance(@geo) <= 1609.344e * 10

A intenção da consulta json é chamar essa função em massa. Se eu chamar assim o desempenho é muito ruim levando quase 10 segundos para apenas 4 pontos:

select row=[key]
      ,count_1
      ,count_3
      ,count_5
      ,count_10
from openjson(@json)
cross apply dbo.fn_poi_in_dist(
            geography::Point(
                convert(float,json_value(value,'$[0]'))
               ,convert(float,json_value(value,'$[1]'))
               ,4326))

plano = https://www.brentozar.com/pastetheplan/?id=HJDCYd_o4

No entanto, mover a construção da geografia dentro de uma tabela derivada faz com que o desempenho melhore drasticamente, concluindo a consulta em cerca de 1 segundo.

select row=[key]
      ,count_1
      ,count_3
      ,count_5
      ,count_10
from (
select [key]
      ,geo = geography::Point(
                convert(float,json_value(value,'$[0]'))
               ,convert(float,json_value(value,'$[1]'))
               ,4326)
from openjson(@json)
) a
cross apply dbo.fn_poi_in_dist(geo)

plano = https://www.brentozar.com/pastetheplan/?id=HkSS5_OoE

Os planos parecem praticamente idênticos. Nenhum usa paralelismo e ambos usam o índice espacial. Há um carretel preguiçoso adicional no plano lento que posso eliminar com a dica option(no_performance_spool). Mas o desempenho da consulta não muda. Ainda continua muito mais lento.

A execução de ambos com a dica adicionada em um lote pesará as duas consultas igualmente.

Versão do servidor SQL = Microsoft SQL Server 2016 (SP1-CU7-GDR) (KB4057119) - 13.0.4466.4 (X64)

Então minha pergunta é por que isso importa? Como posso saber quando devo calcular valores dentro de uma tabela derivada ou não?

sql-server sql-server-2016
  • 1 respostas
  • 1972 Views
Martin Hope
Paul White
Asked: 2019-02-26 02:22:55 +0800 CST

INSERT...SELECT de linha única muito mais lento que SELECT separado

  • 18

Dada a seguinte tabela de heap com 400 linhas numeradas de 1 a 400:

DROP TABLE IF EXISTS dbo.N;
GO
SELECT 
    SV.number
INTO dbo.N 
FROM master.dbo.spt_values AS SV
WHERE 
    SV.[type] = N'P'
    AND SV.number BETWEEN 1 AND 400;

e as seguintes configurações:

SET NOCOUNT ON;
SET STATISTICS IO, TIME OFF;
SET STATISTICS XML OFF;
SET TRANSACTION ISOLATION LEVEL READ COMMITTED;

A SELECTinstrução a seguir é concluída em cerca de 6 segundos ( demo , plan ):

DECLARE @n integer = 400;

SELECT
    c = COUNT_BIG(*) 
FROM dbo.N AS N
CROSS JOIN dbo.N AS N2
CROSS JOIN dbo.N AS N3
WHERE 
    N.number <= @n
    AND N2.number <= @n
    AND N3.number <= @n
OPTION
    (OPTIMIZE FOR (@n = 1));

Observação: @A OPTIMIZE FORcláusula é apenas para produzir uma reprodução de tamanho sensato que capture os detalhes essenciais do problema real, incluindo uma estimativa incorreta de cardinalidade que pode surgir por vários motivos.

Quando a saída de linha única é gravada em uma tabela, leva 19 segundos ( demo , plan ):

DECLARE @T table (c bigint NOT NULL);

DECLARE @n integer = 400;

INSERT @T
    (c)
SELECT
    c = COUNT_BIG(*) 
FROM dbo.N AS N
CROSS JOIN dbo.N AS N2
CROSS JOIN dbo.N AS N3
WHERE 
    N.number <= @n
    AND N2.number <= @n
    AND N3.number <= @n
OPTION
    (OPTIMIZE FOR (@n = 1));

Os planos de execução parecem idênticos, exceto pela inserção de uma linha.

Todo o tempo extra parece ser consumido pelo uso da CPU.

Por que a INSERTdeclaração é muito mais lenta?

sql-server performance
  • 1 respostas
  • 1162 Views
Martin Hope
HoneyBadger
Asked: 2019-02-23 07:00:41 +0800 CST

Espaço em disco cheio durante a inserção, o que acontece?

  • 18

Hoje descobri que o disco rígido que armazena meus bancos de dados estava cheio. Isso já aconteceu antes, geralmente a causa é bastante evidente. Normalmente, há uma consulta incorreta, que causa grandes vazamentos no tempdb, que crescem até o disco ficar cheio. Desta vez foi um pouco menos evidente o que aconteceu, já que tempdb não foi a causa da unidade cheia, foi o próprio banco de dados.

Os fatos:

  • O tamanho normal do banco de dados é de cerca de 55 GB, cresceu para 605 GB.
  • O arquivo de log tem tamanho normal, o arquivo de dados é enorme.
  • Datafile tem 85% de espaço disponível (eu interpreto isso como 'ar': espaço que foi usado, mas foi liberado. O SQL Server reserva todo o espaço uma vez alocado).
  • O tamanho do Tempdb é normal.

Encontrei a causa provável; há uma consulta que seleciona muitas linhas (junção ruim causa a seleção de 11 bilhões de linhas onde são esperadas algumas centenas de milhares). Esta é uma SELECT INTOconsulta, o que me fez pensar se o seguinte cenário poderia ter acontecido:

  • SELECT INTO é executado
  • A tabela de destino é criada
  • Os dados são inseridos conforme são selecionados
  • O disco enche, fazendo com que a inserção falhe
  • SELECT INTO é abortado e revertido
  • A reversão libera espaço (os dados já inseridos são removidos), mas o SQL Server não libera o espaço liberado.

Nesta situação, no entanto, eu não esperava que a tabela criada pelo SELECT INTOainda existisse, ela deveria ser descartada pelo rollback. Eu testei isso:

BEGIN TRANSACTION 
SELECT  T.x
INTO    TMP.test
FROM    (VALUES(1))T(x)

ROLLBACK

SELECT  * 
FROM    TMP.test

Isto resulta em:

(1 row affected)
Msg 208, Level 16, State 1, Line 8
Invalid object name 'TMP.test'.

No entanto, a tabela de destino existe. A consulta real não foi executada em uma transação explícita, isso pode explicar a existência da tabela de destino?

As suposições que esbocei aqui estão corretas? Este é um cenário provável de ter acontecido?

sql-server sql-server-2016
  • 2 respostas
  • 3116 Views
Martin Hope
Dharmedra Keshari
Asked: 2018-04-15 04:19:47 +0800 CST

Qual é a maneira mais rápida de limpar dados?

  • 18

Cenário:

Temos duas tabelas Tbl1e Tbl2no Servidor do Assinante. O Tbl1está sendo replicado do Publisher Server Ae possui dois gatilhos - inserir e atualizar. Os gatilhos estão inserindo e atualizando os dados em arquivos Tbl2.

Agora, temos que limpar (aprox. 900 milhões de registros) dos Tbl2quais tem um total de 1.000+ milhões de registros. Abaixo está a distribuição de dados de um mês a um minuto.

  • Um mês - 14986826 linhas
  • Um dia - 483446 linhas
  • Uma hora - 20143 linhas
  • Um minuto - 335 linhas

O que estou procurando;

A maneira mais rápida de limpar esses dados sem nenhum problema de produção, consistência de dados e possivelmente sem tempo de inatividade. Então, estou pensando em seguir os passos abaixo, mas preso :(

Passos:

  1. BCP Retirar os dados necessários da tabela Tbl2 existente (cerca de 100 milhões de registros, pode demorar aprox. 30 minutos).
    • Vamos supor que eu comecei a fazer a atividade em 1Fab2018 22:00, ela terminou em 1Fab2018 22:30. Quando a atividade for concluída, a tabela Tbl2 obterá novos registros que se tornarão delta
  2. Crie uma nova tabela no banco de dados com o nome Tbl3
  3. BCP nos dados exportados para a tabela recém-criada Tbl3 (cerca de 100 milhões de registros, pode levar aprox. 30 minutos)
  4. Parar o trabalho de replicação
  5. Depois que o BCP-in for concluído, use o script tsql para inserir os novos dados delta.

  6. O desafio é - Como lidar com a declaração de “atualização” do delta?

  7. Iniciar a replicação

Pergunta adicional:

Qual é a melhor maneira de lidar com o cenário?

sql-server trigger
  • 1 respostas
  • 13675 Views
Martin Hope
Stuart Brock
Asked: 2011-01-13 03:25:51 +0800 CST

SSDs com Oracle

  • 19

Estamos pensando em usar SSDs com Oracle para acelerar nossas execuções de migração de teste. Atualmente, leva de 12 a 18 horas para concluir uma execução de migração, dependendo do volume de dados (obviamente, também estamos fazendo muitos ajustes de desempenho). Temos várias caixas Linux baratas que estamos usando para várias execuções e análises.

O custo dos SSDs direto da Dell é proibitivo. Eu queria saber se alguém tem experiência em usar SSDs de consumo (como os Crucial/Micron).

Sei que o suporte a TRIM seria um problema no Linux (usando Centos). Alguém os usou no Windows 7 para combater isso?

oracle performance
  • 4 respostas
  • 3001 Views
Martin Hope
rem
Asked: 2011-01-06 03:51:49 +0800 CST

Agendador de tarefas para SQL Server Express

  • 19

Eu tenho um aplicativo ASP.NET MVC que funciona com banco de dados na edição SQL Server 2008 R2 Express. Existe a necessidade de realizar uma tarefa regular de atualização de alguns registros no banco de dados.

Infelizmente, a Express Edition não possui o SQL Agent.
Que abordagem você recomendaria?

sql-server-2008 backup
  • 4 respostas
  • 11676 Views
Prev
Próximo

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve