AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 303400
Accepted
Skary
Skary
Asked: 2021-12-03 06:30:44 +0800 CST2021-12-03 06:30:44 +0800 CST 2021-12-03 06:30:44 +0800 CST

SQL Server如何将大json上传到列中,性能问题

  • 772

当 nvarchar(max) 列具有几 MB 数据时,我在表上的单行插入/更新语句上遇到性能不佳的问题。

这是我的表结构:

CREATE TABLE [dbo].[tbl_set_Cart](
    [ID] [int] NOT NULL,
    [AS400_CUSTOMER_COD] [nvarchar](50) NOT NULL,
    [AS400_LISTIN] [int] NOT NULL,
    [VALUE] [nvarchar](max) NOT NULL,
    [DELIVERY_COSTS] [nvarchar](max) NOT NULL,
    [ITEMS_COUNT] [int] NOT NULL,
    [ITEMS] [nvarchar](max) NOT NULL,
    [KIND] [int] NOT NULL,
    [CHECKOUT_INFO] [nvarchar](max) NOT NULL,
    [ISSUES] [nvarchar](max) NOT NULL,
    [LAST_CHECK] [datetime] NOT NULL,
    [USER_ID] [int] NOT NULL,
    [IMPERSONATED_USER_ID] [int] NOT NULL,
    [OVERRIDE_PRICES] [bit] NOT NULL,
    [HAS_ISSUE] [bit] NOT NULL,
    [IS_CONFIRMED] [bit] NOT NULL,
    [IS_COLLECTED] [bit] NOT NULL,
    [_METADATA] [nvarchar](max) NOT NULL,
 CONSTRAINT [PK_tbl_set_Cart] PRIMARY KEY CLUSTERED 
(
    [ID] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON, OPTIMIZE_FOR_SEQUENTIAL_KEY = OFF) ON [PRIMARY]
) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]
GO

这里是一个更新语句的例子

DECLARE @p0 AS INT = [cart_id];
DECLARE @p1 AS INT = [entry_count];
DECLARE @p2 AS NVARCHAR(MAX) = '..document..' --~8MB;

UPDATE [dbo].[tbl_set_Cart]
SET [ITEMS_COUNT] = @p1, [ITEMS] = @p2
WHERE [ID] = @p0

在数据库的同一台机器上执行这个命令(一个开发环境,所以没有其他工作负载)我得到了这个性能:

在此处输入图像描述

将文本加载到 SQL Server 中这么慢真的让我感到惊讶,所以我要问的是是否有更好的方法来实现这一点。

该文档是一个大的 JSON,不会超过 10MB 的数据(我已经在最坏的情况下完成了上面报告的基准测试),如果性能提高,我将其转换为 BLOB 或其他数据结构没有问题。如果这是一个更好的主意,我还可以使用存储过程来上传大文本。

环境:

Windows Server 2019 16 逻辑处理器 2,1 GHz 和 Microsoft SQL Server Standard(64 位)版本 15.0.2070.41,具有 4GB 预留 RAM,16 核许可。

(这是一个仅限开发的环境,在这种情况下,我是唯一一个没有其他程序或计划活动运行的人。)

我在这里再次测试了一个不同的购物车(一个小一点的)(客户统计数据)和执行计划。

在此处输入图像描述

链接在这里:https ://www.brentozar.com/pastetheplan/?id=SJcPhDUFK

在此处输入图像描述

如果我插入一个新行,它会更快:

在此处输入图像描述

链接在这里:https ://www.brentozar.com/pastetheplan/?id=S1FDjD8KF

在此处输入图像描述

对于插入语句,我使用了 SQL Server 生成的数据(任务 -> 脚本表 -> 仅限数据)

我期望实现的是更新时间 <0,5s

在我的场景中,json 通常出生时很小,然后每天都在增加,直到我正在测试的大小。我可以开始考虑将它们存储为文件吗?

我在日志文件中预先分配了空间。并再次检查恢复模式是否设置为简单。我可以做些什么来进一步提高性能?

sql-server update
  • 2 2 个回答
  • 757 Views

2 个回答

  • Voted
  1. Best Answer
    Paul White
    2021-12-03T08:13:32+08:002021-12-03T08:13:32+08:00

    您的缓慢更新计划显示要等待很长时间LOGBUFFER:

    LOGBUFFER 等待

    您应该检查数据库的日志文件是否位于足够快的存储空间以应对工作负载。

    增加实例可用的 RAM 量也可能带来一些好处。PAGEIOLATCH_EX等待时间也很长,为 361 毫秒。

    正如大卫布朗建议的那样,您还可以:

    • COMPRESSJSON 将一些 IO 转移到 CPU。
    • 考虑“行外的大值类型”表选项以在聚集索引中获取更多行/页,并减少更新时的迁移以减少PAGEIOLATCH等待。
    • 6
  2. Stephen Morris - Mo64
    2021-12-03T08:03:13+08:002021-12-03T08:03:13+08:00

    我建议您尝试将 json 信息放入/复制到“本地”目录(在数据库服务器上或附近)的文件中,然后使用该OPENROWSET BULK功能

    SELECT @json = BulkColumn
    FROM OPENROWSET (BULK 'C:\JSON\Books\book.json', SINGLE_CLOB) as j
    

    请参阅 https://techcommunity.microsoft.com/t5/sql-server-blog/importing-json-files-into-sql-server-using-openrowset-bulk/ba-p/384480

    • -1

相关问题

  • SQL Server - 使用聚集索引时如何存储数据页

  • 我需要为每种类型的查询使用单独的索引,还是一个多列索引可以工作?

  • 什么时候应该使用唯一约束而不是唯一索引?

  • 死锁的主要原因是什么,可以预防吗?

  • 如何确定是否需要或需要索引

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve