AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 154945
Accepted
Adrian S
Adrian S
Asked: 2016-11-12 03:22:05 +0800 CST2016-11-12 03:22:05 +0800 CST 2016-11-12 03:22:05 +0800 CST

varbinary 的索引维护

  • 772

我们有一个 SQL 2016 数据库,它有一个 19 亿行的表,其中有一个 varbinary(255) 列,我们用它来将 nvarchar(2000) 字段的 HashBytes 存储在同一个表中。

我们在 varbinary 字段上有一个非聚集索引,我们的索引维护脚本每 2-3 天对此执行一次 REORGANIZE。但这需要10多个小时才能完成。

有什么方法可以提高 varbinary 字段的索引维护速度?

sql-server index
  • 3 3 个回答
  • 2589 Views

3 个回答

  • Voted
  1. Best Answer
    Brent Ozar
    2016-11-12T03:37:48+08:002016-11-12T03:37:48+08:00

    如果您有一个包含 19 亿行的表,我猜它的百分比变化率相当低。检查您每天实际插入/更新的行数 - 可能少于 1%。

    在这种情况下,每 2-3 天重新组织一次整个表是没有意义的(特别是考虑到它需要 10 多个小时。)我会首先每周只进行一次索引维护,如果不是每月一次的话尺寸。

    首先退后一步问:“我试图通过索引重组来解决什么问题?” 如果答案是缓慢的选择语句,那么对 19 亿行表的索引维护将不是答案。

    • 5
  2. Mark Storey-Smith
    2016-11-12T04:16:33+08:002016-11-12T04:16:33+08:00

    根据评论,我关于使用的问题是因为我希望存在这个索引来检查现有记录,即单例查找,没有扫描行为。考虑到这一点,我呼应@BrentOzar,经常重组不太可能产生任何切实的好处。关掉它,看看 ETL 性能是否会恶化,我怀疑不会。

    如果有修改 ETL 过程的空间,那么我会考虑转储VARBINARY哈希并替换为BIGINT. 我在数据仓库 ETL 过程中使用了类似的安排:

    CAST(HASHBYTES('SHA1', longstring) AS BIGINT)
    

    在这个用例中,由于截断而导致的冲突不是问题。哈希用于通过由 8 字节键组成的索引而不是 255 字节的索引来检查行是否已经存在,或者用于扫描包含 4000 字节列的表。如果检查没有产生任何行,则插入。如果哈希匹配,则对原始文本进行比较以确定您是否有现有行或需要插入。

    • 3
  3. Solomon Rutzky
    2016-11-12T06:18:46+08:002016-11-12T06:18:46+08:00

    FILLFACTORNonClustered 索引上有什么?你用的是什么哈希算法?该指数是否已PAD_INDEX设置为ON?聚集索引(包括列数据类型)的定义是什么?

    所有这些都将使我们更清楚地了解该指数的物理构成。

    还发生了哪些其他操作?意思是,你更新NVARCHAR(2000)专栏了吗?你删除很多行吗?唯一应该增加碎片的事情是:常规插入(因为哈希实际上是“随机”排序的),对NVARCHAR字段的更新,因为这将改变哈希的值(但不是大小),以及大量的删除。

    这些问题的答案将使我们更清楚地了解碎片化如何/为什么会增加。

    此外,除了碎片级别达到 Ola 脚本推荐碎片整理的默认限制之外,您是否发现不进行碎片整理时 ETL 性能有任何下降?

    此外,我还会小心地将散列值转换为只有 8 个字节的BIGINT给定值,但所有散列算法——甚至MD5——都大于 8 个字节(MD5 = 16 字节,SHA1 = 20,SHA2_256 = 32 和SHA2_512 = 64)。并且将大于 8 字节的二进制值转换为静默截断值,因此您会失去准确性并增加误报的发生率。以下查询显示了这种行为:BIGINTBIGINT

    SELECT CONVERT(BIGINT, 0xFFFFFFFFFFFFFF),      --  7 bytes = 72057594037927935
           CONVERT(BIGINT, 0xFFFFFFFFFFFFFFFF),    --  8 bytes = -1
           CONVERT(BIGINT, 0xFFFFFFFFFFFFFFFFFF),  --  9 bytes = -1
           CONVERT(BIGINT, 0xFFFFFFFFFFFFFFFFFFFF) -- 10 bytes = -1
    

    当然,根据@Marks 对用法的解释,这种截断可能只会增加对NVARCHAR字段进行全面比较的频率。尽管如此,人们还是应该意识到这种行为,因为它是一种无声(即非显而易见的)截断。

    • 1

相关问题

  • 死锁的主要原因是什么,可以预防吗?

  • 我在索引上放了多少“填充”?

  • 如何确定是否需要或需要索引

  • RDBMS 上的“索引”是什么意思?[关闭]

  • 如何在 MySQL 中创建条件索引?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve