AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 176724
Accepted
Pரதீப்
Pரதீப்
Asked: 2017-06-20 22:53:31 +0800 CST2017-06-20 22:53:31 +0800 CST 2017-06-20 22:53:31 +0800 CST

性能提升外部应用

  • 772

我有一个运行速度稍慢的查询。

SELECT b.BreakdownClassificationId,
       k.IsinCode,
       k.SedolCode,
       ClassificationDate,
       NAME,
       InstrumentType,
       GeographicalLocation,
       CapSize,
       Currency,
       ExchangeName,
       HoldingDomicile,
       MaturityDate,
       Sector,
       MajorSector
FROM   #BreakdownSet b
       OUTER apply (SELECT TOP 1 IsinCode,
                                 SedolCode,
                                 ClassificationDate,
                                 NAME,
                                 InstrumentType,
                                 GeographicalLocation,
                                 CapSize CapSize,
                                 Currency,
                                 ExchangeName,
                                 HoldingDomicile,
                                 MaturityDate,
                                 Sector,
                                 MajorSector
                    FROM   dbfinex.dbo.PfPortfolioHoldingClassificationFtid x WITH (nolock)
                    WHERE  ( x.isincode > ''
                             AND x.isincode = b.breakdowncode )
                            OR ( x.sedolcode > ''
                                 AND x.sedolcode = b.breakdowncode )
                            OR ( x.sedolcode > ''
                                 AND x.sedolcode = b.sedolcode )
                            OR ( x.isincode > ''
                                 AND x.isincode = b.isincode )
                    ORDER  BY CASE
                                WHEN x.sedolcode = b.breakdowncode THEN 1
                                WHEN x.isincode = b.breakdowncode THEN 2
                                WHEN x.sedolcode = b.sedolcode THEN 3
                                WHEN x.isincode = b.isincode THEN 4
                                ELSE 5
                              END,
                              classificationdate DESC) k 

执行计划

在此处输入图像描述

Order By里面Cross Apply是非常昂贵的,有没有更好的方法来编写这个查询?

sql-server t-sql
  • 1 1 个回答
  • 6449 Views

1 个回答

  • Voted
  1. Best Answer
    Joe Obbish
    2017-06-21T17:54:18+08:002017-06-21T17:54:18+08:00

    如果您愿意,您可以取消排序,尽管很难说这是否有必要提高查询性能。关键是您如何构造ORDER BY子句以及搜索条件。如果有任何匹配的行,x.sedolcode = b.breakdowncode那么您想要获取该行,否则您转到下一个条件。使用正确的索引,我们可以通过拆分APPLY. SQL Server 查询优化器实际上提供了一个很好的提示,因为它将您的OR条件转换为UNIONs。

    我将创建一个有限的示例,以显示我所追求的一般查询计划形状。我还将假设该PfPortfolioHoldingClassificationFtid表在列上有一个主键和一个集群键PK。这是我的测试数据:

    CREATE TABLE #BreakdownSet (
        BreakdownClassificationId BIGINT NOT NULL,
        breakdowncode VARCHAR(10) NULL,
        sedolcode VARCHAR(10) NULL,
        isincode VARCHAR(10) NULL
    );
    
    INSERT INTO #BreakdownSet
    SELECT 
      t.RN
    , CASE WHEN RN % 10 = 1 THEN t.RN ELSE NULL END
    , CASE WHEN RN % 10 = 4 THEN t.RN ELSE NULL END
    , CASE WHEN RN % 10 = 7 THEN t.RN ELSE NULL END
    FROM
    (
        SELECT TOP (1500000) ROW_NUMBER() OVER (ORDER BY (SELECT NULL)) RN
        FROM master..spt_values t1
        CROSS JOIN master..spt_values t2
    ) t;
    
    CREATE TABLE dbo.PfPortfolioHoldingClassificationFtid (
        PK BIGINT NOT NULL,
        isincode VARCHAR(10) NOT NULL,
        sedolcode VARCHAR(10) NOT NULL,
        ClassificationDate DATE NOT NULL,
        OTHER_COLUMN VARCHAR(200) NOT NULL,
        PRIMARY KEY (PK)
    );
    
    INSERT INTO dbo.PfPortfolioHoldingClassificationFtid WITH (TABLOCK)
    SELECT 
      t.RN
    , t.RN
    , t.RN
    , DATEADD(DAY, t.rn / 100, '20170101')
    , REPLICATE('OTHER', 40)
    FROM
    (
        SELECT TOP (1500000) ROW_NUMBER() OVER (ORDER BY (SELECT NULL)) RN
        FROM master..spt_values t1
        CROSS JOIN master..spt_values t2
    ) t;
    
    CREATE INDEX isin_date ON dbo.PfPortfolioHoldingClassificationFtid (isincode, ClassificationDate);
    
    CREATE INDEX sedol_date ON dbo.PfPortfolioHoldingClassificationFtid (sedolcode, ClassificationDate);
    

    这是您对我的表定义的查询:

    SELECT b.breakdownclassificationid, 
           k.isincode, 
           k.sedolcode, 
           classificationdate, 
           other_column 
    FROM   #breakdownset b 
           OUTER apply (SELECT TOP 1 isincode, 
                                     sedolcode, 
                                     classificationdate, 
                                     other_column 
                        FROM   dbo.pfportfolioholdingclassificationftid x WITH ( 
                               nolock) 
                        WHERE  ( x.isincode > '' 
                                 AND x.isincode = b.breakdowncode ) 
                                OR ( x.sedolcode > '' 
                                     AND x.sedolcode = b.breakdowncode ) 
                                OR ( x.sedolcode > '' 
                                     AND x.sedolcode = b.sedolcode ) 
                                OR ( x.isincode > '' 
                                     AND x.isincode = b.isincode ) 
                        ORDER  BY CASE 
                                    WHEN x.sedolcode = b.breakdowncode THEN 1 
                                    WHEN x.isincode = b.breakdowncode THEN 2 
                                    WHEN x.sedolcode = b.sedolcode THEN 3 
                                    WHEN x.isincode = b.isincode THEN 4 
                                    ELSE 5 
                                  END, 
                                  classificationdate DESC) k; 
    

    毫不奇怪,我得到了一个与你不同的计划,但这种类型的估计成本仍然很高。如果我们将其APPLY分成四个部分,并且每个部分APPLY只返回表的主键呢?如果我们每个都有一个覆盖索引,APPLY那么我们可以通过最多四个索引查找找到匹配行的主键。不需要排序。我们也可以通过在 s 中添加过滤器来跳过不需要的搜索,APPLY但这并不能保证行为。这是编写它的一种方法:

    SELECT b.breakdownclassificationid, 
           k.isincode, 
           k.sedolcode, 
           classificationdate, 
           other_column 
    FROM   #breakdownset b 
           OUTER apply (SELECT TOP 1 pk 
                        FROM   dbo.pfportfolioholdingclassificationftid x 
                        WHERE  x.sedolcode = b.breakdowncode 
                        ORDER  BY classificationdate DESC) a1 
           OUTER apply (SELECT TOP 1 pk 
                        FROM   dbo.pfportfolioholdingclassificationftid x 
                        WHERE  x.isincode = b.breakdowncode 
                               AND a1.pk IS NOT NULL 
                        ORDER  BY classificationdate DESC) a2 
           OUTER apply (SELECT TOP 1 pk 
                        FROM   dbo.pfportfolioholdingclassificationftid x 
                        WHERE  x.sedolcode = b.sedolcode 
                               AND a2.pk IS NOT NULL 
                        ORDER  BY classificationdate DESC) a3 
           OUTER apply (SELECT TOP 1 pk 
                        FROM   dbo.pfportfolioholdingclassificationftid x 
                        WHERE  x.isincode = b.isincode 
                               AND a3.pk IS NOT NULL 
                        ORDER  BY classificationdate DESC) a4 
           LEFT OUTER JOIN dbo.pfportfolioholdingclassificationftid k 
                        ON k.pk = COALESCE(a1.pk, a2.pk, a3.pk, a4.pk);
    

    临时表中有 150 万行,最坏的情况应该是 600 万次非聚集索引查找和 150 万次聚集索引查找。

    查询在我的机器上运行两秒钟。运行时无关紧要,因为我有无意义的数据。但是,计划中没有排序。我将查询计划上传到Paste The Plan。您应该考虑为将来的问题也这样做。这也是实际计划的屏幕截图:

    实际计划哈希

    您拥有的查询执行嵌套循环连接并且不会并行。使用LOOP JOIN并MAXDOP 1提示查询在我的机器上七秒内完成。这是计划,这是屏幕截图:

    在此处输入图像描述

    • 2

相关问题

  • SQL Server - 使用聚集索引时如何存储数据页

  • 我需要为每种类型的查询使用单独的索引,还是一个多列索引可以工作?

  • 什么时候应该使用唯一约束而不是唯一索引?

  • 死锁的主要原因是什么,可以预防吗?

  • 如何确定是否需要或需要索引

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve