AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 269888
Accepted
J.D.
J.D.
Asked: 2020-06-26 09:09:10 +0800 CST2020-06-26 09:09:10 +0800 CST 2020-06-26 09:09:10 +0800 CST

向表中添加列存储索引会影响在同一表上使用行存储索引的查询的读取性能吗?

  • 772

我正在对大约 5 亿行的单个表上的列存储索引进行一些测试。聚合查询的性能提升非常棒(以前运行大约需要 2 分钟的查询现在运行在 0 秒内即可聚合整个表)。

但我也注意到另一个利用在同一张表上的现有行存储索引上查找的测试查询现在的运行速度是之前创建列存储索引之前的 4 倍。我可以反复演示删除列存储索引时,行存储查询在 5 秒内运行,并且通过在列存储索引中添加回行存储查询在 20 秒内运行。

我一直关注行存储索引查询的实际执行计划,无论列存储索引是否存在,这两种情况几乎完全相同。(它在这两种情况下都使用行存储索引。)

行存储测试查询是:

SELECT *
INTO #TEMP
FROM Table1 WITH (FORCESEEK)
WHERE IntField1 = 571
    AND DateField1 >= '6/01/2020'

此查询中使用的行存储索引是:CREATE NONCLUSTERED INDEX IX_Table1_1 ON Table1 (IntField1, DateField1) INCLUDE (IntField2)

列存储测试查询是:

SELECT COUNT(DISTINCT IntField2) AS IntField2_UniqueCount, COUNT(1) AS RowCount
FROM Table1
WHERE IntField1 = 571 -- Some other test columnstore queries also don't use any WHERE predicates on this table
    AND DateField1 >= '1/1/2019' 

列存储索引为:CREATE NONCLUSTERED COLUMNSTORE INDEX IX_Table1_2 ON Table1 (IntField2, IntField1, DateField1)

这是我创建列存储索引之前行存储索引查询的执行计划: 执行计划 - 行存储索引 - 列存储前索引创建

这是我创建列存储索引后行存储索引查询的执行计划: 执行计划 - 行存储索引 - 列存储后索引创建

我注意到这两个计划之间的唯一区别是,在创建列存储索引后,排序操作的警告消失了,而键查找和表插入 (#TEMP) 运算符花费的时间要长得多。

这是带有警告的排序操作信息(在创建列存储索引之前): 排序操作 - 警告

这是没有警告的排序操作信息(在创建列存储索引之后): 排序操作

我会认为在这两种情况下专门利用相同行存储索引和执行计划的读取查询在每次运行时应该具有大致相同的性能,而不管该表上存在哪些其他索引。这里给出了什么?

编辑:这是创建索引之前的 TIME 和 IO 统计信息: 统计信息 - 创建列存储索引之前

以下是创建列存储索引后的统计信息: 统计信息 - 创建列存储索引后

sql-server index
  • 1 1 个回答
  • 612 Views

1 个回答

  • Voted
  1. Best Answer
    Josh Darnell
    2020-06-30T07:15:14+08:002020-06-30T07:15:14+08:00

    添加非聚集列存储索引允许在第二个执行计划中进行批处理模式排序。这会导致所有处理都在一个线程上完成 - 因此即使查询具有并行计划,它本质上也是串行运行的。您可以通过查看不同运营商的详细信息来了解这一点。

    我在本地重现了您的问题,这是每个线程计数的排序运算符 - 正如您所看到的,一切都在线程 1 上:

    显示排序运算符的线程倾斜和执行模式的 SSMS 屏幕截图

    注意“实际执行模式”是“批处理”。

    排序之后的所有内容(嵌套循环连接、键查找等)本质上都是串行的,这会减慢查询速度。

    有关详细信息和可能的解决方案,请参阅此知识库文章:

    添加跟踪标志 9358 以禁用 SQL Server 2016 中复杂并行查询中的批处理模式排序操作

    批处理模式排序是在 SQL Server 2016 中在兼容级别 130 下引入的。如果查询执行计划包含并行批处理模式排序以及直接上游并行运算符,则与行模式排序计划等效项相比,您可能会遇到性能下降。

    这是由于并行批处理排序通过单个线程将完全排序的数据输出到上游并行运算符(例如,并行合并连接运算符)。由于传入的单线程批处理模式排序运算符,上游并行运算符使用单线程处理时会发生性能下降。

    为完整起见,此处列出的选项包括:

    • 启用 TF 9358
    • 启用查询优化器修补程序(通过 TF 4199、QUERY_OPTIMIZER_HOTFIXES数据库选项或ENABLE_QUERY_OPTIMIZER_HOTFIXES查询提示)

    摆脱排序是这个问题的另一个解决方案。排序仅用于尝试防止来自嵌套循环连接的过多随机 I/O,它使用无序预取,如 Craig Freedman 的这篇文章中所述:

    通过排序优化 I/O 性能——第 1 部分

    该计划使用非聚集索引来避免不必要地触及许多行。然而,执行 64,000 次随机 I/O 仍然相当昂贵,因此 SQL Server 添加了一种排序。 通过对聚集索引键上的行进行排序,SQL Server 将随机 I/O 转换为顺序 I/O。

    您可以通过以下方式摆脱排序:

    • 消除对键查找的需要(通过选择更少的列,或创建覆盖的非聚集索引)
    • OPTION (QUERYTRACEON 9115)通过向查询添加(未记录,不支持的跟踪标志)来禁用嵌套循环预取
    • 6

相关问题

  • 死锁的主要原因是什么,可以预防吗?

  • 我在索引上放了多少“填充”?

  • 如何确定是否需要或需要索引

  • RDBMS 上的“索引”是什么意思?[关闭]

  • 如何在 MySQL 中创建条件索引?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve