AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 303400
Accepted
Skary
Skary
Asked: 2021-12-03 06:30:44 +0800 CST2021-12-03 06:30:44 +0800 CST 2021-12-03 06:30:44 +0800 CST

SQL Server como fazer upload de big json na coluna, problema de desempenho

  • 772

Estou tendo um desempenho ruim em uma instrução de inserção/atualização de linha única em uma tabela quando uma coluna nvarchar(max) tem poucos MB de dados.

Aqui minha estrutura de tabela:

CREATE TABLE [dbo].[tbl_set_Cart](
    [ID] [int] NOT NULL,
    [AS400_CUSTOMER_COD] [nvarchar](50) NOT NULL,
    [AS400_LISTIN] [int] NOT NULL,
    [VALUE] [nvarchar](max) NOT NULL,
    [DELIVERY_COSTS] [nvarchar](max) NOT NULL,
    [ITEMS_COUNT] [int] NOT NULL,
    [ITEMS] [nvarchar](max) NOT NULL,
    [KIND] [int] NOT NULL,
    [CHECKOUT_INFO] [nvarchar](max) NOT NULL,
    [ISSUES] [nvarchar](max) NOT NULL,
    [LAST_CHECK] [datetime] NOT NULL,
    [USER_ID] [int] NOT NULL,
    [IMPERSONATED_USER_ID] [int] NOT NULL,
    [OVERRIDE_PRICES] [bit] NOT NULL,
    [HAS_ISSUE] [bit] NOT NULL,
    [IS_CONFIRMED] [bit] NOT NULL,
    [IS_COLLECTED] [bit] NOT NULL,
    [_METADATA] [nvarchar](max) NOT NULL,
 CONSTRAINT [PK_tbl_set_Cart] PRIMARY KEY CLUSTERED 
(
    [ID] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON, OPTIMIZE_FOR_SEQUENTIAL_KEY = OFF) ON [PRIMARY]
) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]
GO

Aqui um exemplo de uma declaração de atualização

DECLARE @p0 AS INT = [cart_id];
DECLARE @p1 AS INT = [entry_count];
DECLARE @p2 AS NVARCHAR(MAX) = '..document..' --~8MB;

UPDATE [dbo].[tbl_set_Cart]
SET [ITEMS_COUNT] = @p1, [ITEMS] = @p2
WHERE [ID] = @p0

Executando este comando na mesma máquina do banco de dados (um ambiente de desenvolvimento para que não haja outra carga de trabalho) obtive este desempenho:

insira a descrição da imagem aqui

Realmente me surpreende que seja tão lento carregar um texto no SQL Server, então o que estou perguntando é se há uma maneira melhor de conseguir isso.

O documento é um grande JSON que não excederá os 10 MB de dados (eu fiz o benchmark relatado acima no pior cenário) e não tenho problemas em convertê-lo em um BLOB ou outras estruturas de dados se o desempenho melhorar. Se for uma ideia melhor, também posso usar um procedimento armazenado para carregar o texto grande.

Meio Ambiente:

Um processador lógico Windows Server 2019 16 2,1 GHz e Microsoft SQL Server Standard (64 bits) versão 15.0.2070.41 com 4 GB de RAM reservada, 16 núcleos licenciados.

(é um ambiente apenas de desenvolvimento e, neste caso, sou o único trabalhando sem nenhum outro programa ou atividade agendada em execução.)

Testei novamente um carrinho diferente (um pouco menor) aqui vezes (estatísticas do cliente) e plano de execução.

insira a descrição da imagem aqui

link aqui: https://www.brentozar.com/pastetheplan/?id=SJcPhDUFK

insira a descrição da imagem aqui

Se eu inserir uma nova linha é mais rápido:

insira a descrição da imagem aqui

link aqui: https://www.brentozar.com/pastetheplan/?id=S1FDjD8KF

insira a descrição da imagem aqui

Para a instrução insert, usei os dados gerados pelo SQL Server (tarefa -> tabela de scripts -> somente dados)

O que espero alcançar é um tempo de atualização <0,5s

No meu cenário o json geralmente nasce pequeno e depois aumenta dia a dia até o tamanho que estou testando. Posso começar a pensar em armazená-los como arquivo?

Eu pré-aloquei espaço no arquivo de log. E verifique novamente se o modelo de recuperação está definido como simples. O que posso fazer para melhorar ainda mais o desempenho?

sql-server update
  • 2 2 respostas
  • 757 Views

2 respostas

  • Voted
  1. Best Answer
    Paul White
    2021-12-03T08:13:32+08:002021-12-03T08:13:32+08:00

    Seu plano de atualização lenta mostra uma longa espera em LOGBUFFER:

    LOGBUFFER esperar

    Você deve verificar se o arquivo de log do banco de dados está em armazenamento rápido o suficiente para a carga de trabalho.

    Também pode haver algum benefício em aumentar a quantidade de RAM disponível para a instância. A PAGEIOLATCH_EXespera também é bastante longa em 361ms.

    Como David Browne sugeriu, você também pode:

    • COMPRESSo JSON para mudar parte do IO para a CPU.
    • Considere a opção de tabela "tipos de grande valor fora de linha" para obter mais linhas/página no índice clusterizado e reduzir a migração na atualização para reduzir as PAGEIOLATCHesperas.
    • 6
  2. Stephen Morris - Mo64
    2021-12-03T08:03:13+08:002021-12-03T08:03:13+08:00

    Eu sugiro que você tente colocar/copiar as informações do json em um arquivo para um diretório "local" (no ou próximo ao servidor db) e, em seguida, use o OPENROWSET BULKrecurso

    SELECT @json = BulkColumn
    FROM OPENROWSET (BULK 'C:\JSON\Books\book.json', SINGLE_CLOB) as j
    

    consulte https://techcommunity.microsoft.com/t5/sql-server-blog/importing-json-files-into-sql-server-using-openrowset-bulk/ba-p/384480

    • -1

relate perguntas

  • SQL Server - Como as páginas de dados são armazenadas ao usar um índice clusterizado

  • Preciso de índices separados para cada tipo de consulta ou um índice de várias colunas funcionará?

  • Quando devo usar uma restrição exclusiva em vez de um índice exclusivo?

  • Quais são as principais causas de deadlocks e podem ser evitadas?

  • Como determinar se um Índice é necessário ou necessário

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve