AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 205768
Accepted
WorldStar SQL
WorldStar SQL
Asked: 2018-05-04 16:53:15 +0800 CST2018-05-04 16:53:15 +0800 CST 2018-05-04 16:53:15 +0800 CST

在 SQL Server 中,并行度是每个运算符还是其他?

  • 772

我和一位老 DBA 一起工作,他说了很多奇怪的话。Dude 有一本 O'Reilly 的书,封面上只有一个变形虫。

午餐时我们讨论了并行性,因为我们的新服务器有 24 个内核。他说,在并行计划中,每个操作员都会获得 DOP 线程。因此,如果您有 MAXDOP 8 并且您的查询有 4 个并行运算符,它将同时使用 32 个线程。

这似乎不对,因为您很快就会用完线程。

我还读到整个查询可能只有 8 个,这似乎太少了。

为什么我在 sysprocesses 中看到每个 SPID 的线程多于 MAXDOP?

他们都对吗?

sql-server parallelism
  • 2 2 个回答
  • 867 Views

2 个回答

  • Voted
  1. Best Answer
    Paul White
    2018-05-06T02:39:20+08:002018-05-06T02:39:20+08:00

    他说,在并行计划中,每个操作员都会获得 DOP 线程。

    不,这充其量只是一种误导,但更接近于完全错误。

    在串行计划中,每个操作员“获得”一个线程,但该线程对所有操作员来说都是同一个线程。并行计划的原理类似。

    每个并行运算符都由 DOP线程运行,但这些线程不是特定运算符独有的,它们在同一并行分支中的运算符之间共享。

    分支边界由并行运算符(Demand、Repartition 和 Gather Streams)分隔。下图显示了具有三个分支的并行计划:

    在此处输入图像描述 转载自本答案末尾引用的文章


    因此,如果您有MAXDOP 8并且您的查询有 4 个并行运算符,它将同时使用 32 个线程。

    不。您不能只乘以DOP运算符的数量来获得线程数。为并行分支保留的线程数是并行分支数(不是运算符)乘以DOP。

    DOP在SQL Server 2005 及更高版本中,单个并行查询可以同时处于活动状态的线程数受到限制。SQL Server 通过将线程分配给DOP调度程序来实现这一点。


    我还读到整个查询可能只有 8 个,这似乎太少了。

    这DOP = 8对于具有单个并行分支的计划来说是正确的。一个并行计划中可以有多个并行计划分支。对于具有n并行分支的计划,并行工作者的线程预留是n * DOP.

    请参阅Paul White 的并行执行计划 - 分支和线程。

    注意:执行计划中报告的分支数通常是可能并发执行的分支数(由于阻塞运算符,一个分支中的线程有时可能会安全地回收用于后面的分支)。

    • 16
  2. reluctant and angry dba
    2018-05-04T17:03:23+08:002018-05-04T17:03:23+08:00

    我所有的生产箱都在 SQL Server 2008(甚至不是 R2)上,没有钱升级。但是我得到了一个 3 CPU 的虚拟机,管理层不知道它隐藏了 SQL Server 2017 开发人员版(它是免费的!)。我对此进行了测试。

    本周早些时候,我们的一位开发人员编写了很多 CROSS JOIN 查询,它们导致了一些问题,但我可以使用类似的查询来回答这个问题。开发人员做了这样的事情:

    SELECT MIN(t1.high + t2.high)
    FROM master..spt_values t1
    CROSS JOIN master..spt_values t2
    OPTION (MAXDOP 3);
    

    就像我说的那样,查询引起了各种警告警报,我不得不在半夜醒来。以下是我 2017 年“实例”的查询计划:

    在此处输入图像描述

    所以我得到了五个带有赛车箭头的操作员,这起初让我认为计划中有 5 个并行操作员。SQL Server 可能很棘手。nested loop join其实就是一个并行算子,所以一共有6个并行算子。如果查询 MAXDOP 为 3,如果它按照您的问题中描述的方式工作,我将获得 3 * 6 = 18 个工人。我可以查看实际计划的 XML 以找到以下内容:

          <QueryPlan DegreeOfParallelism="3" MemoryGrant="56" CachedPlanSize="32" CompileTime="3" CompileCPU="3" CompileMemory="272">
            <ThreadStat Branches="1" UsedThreads="3">
              <ThreadReservation NodeId="0" ReservedThreads="3" />
            </ThreadStat>
    

    这使得查询执行期间似乎只使用了 3 个线程。另外,我从互联网上获取了这个查询,并在执行 CROSS JOIN 查询时运行它:

    SELECT *
    FROM sys.dm_os_tasks d
    INNER JOIN sys.dm_exec_sessions s ON d.session_id = s.session_id
    WHERE s.is_user_process = 1 AND s.session_id <> @@SPID;
    

    它只显示 exec_context_id 值介于 0 和 3 之间的四行。因此,即使有许多并行运算符,这个查询也只使用了三个并行工作线程。确实,更复杂的查询可以使用比 MAXDOP 更多的工作器,但我认为可以肯定地说查询不会为每个并行运算符获得 MAXDOP 工作器。

    更新:

    我在互联网上找到了一个跟踪标志(不要在生产中使用!)并用它来获得另一个并行计划:

    在此处输入图像描述

    那个有六个并行工作线程!所以看起来不同模式的查询确实可以获得不同的工作线程,但它仍然不是每个操作员的 MAXDOP 线程。

    • 4

相关问题

  • SQL Server - 使用聚集索引时如何存储数据页

  • 我需要为每种类型的查询使用单独的索引,还是一个多列索引可以工作?

  • 什么时候应该使用唯一约束而不是唯一索引?

  • 死锁的主要原因是什么,可以预防吗?

  • 如何确定是否需要或需要索引

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve