AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 282893
Accepted
gotqn
gotqn
Asked: 2021-01-10 03:30:24 +0800 CST2021-01-10 03:30:24 +0800 CST 2021-01-10 03:30:24 +0800 CST

SQL Server 2019 列存储索引 - 维护

  • 772

我在用于记录的表上有一个聚集列存储索引 - 仅插入(但不是批量插入)。当前的表统计数据是:

  • 35.41 亿行
  • 6.6 GB 预留空间

我今天早上通过以下方式看到了以下操作sp_whoisactive:

ALTER INDEX [...] ON [...].[...] 
REBUILD PARTITION = ALL WITH (DATA_COMPRESSION = COLUMNSTORE_ARCHIVE);

我使用以下查询来检查我们有多少行row_group_id:

SELECT
    tables.name AS table_name,
    indexes.name AS index_name,
    partitions.partition_number,
    dm_db_column_store_row_group_physical_stats.row_group_id,
    dm_db_column_store_row_group_physical_stats.total_rows,
    dm_db_column_store_row_group_physical_stats.deleted_rows,
    dm_db_column_store_row_group_physical_stats.state_desc,
    dm_db_column_store_row_group_physical_stats.trim_reason_desc
FROM sys.dm_db_column_store_row_group_physical_stats
INNER JOIN sys.indexes
ON indexes.index_id = 
    dm_db_column_store_row_group_physical_stats.index_id
AND indexes.object_id = 
    dm_db_column_store_row_group_physical_stats.object_id
INNER JOIN sys.tables
ON tables.object_id = indexes.object_id
INNER JOIN sys.partitions
ON partitions.partition_number = 
    dm_db_column_store_row_group_physical_stats.partition_number
AND partitions.index_id = indexes.index_id
AND partitions.object_id = tables.object_id

我们在最后一行和几3383行分组,如下所示:1048576

在此处输入图像描述

问题是我们使用的是标准版(本地)并且重建操作没有在线执行并导致大量阻塞。

我以前从未见过这样的问题。几周前,我们已经从SQL Server 2016 SP1SQL升级Server 2019。

我的问题是:

  • 如果只应用插入,应该是操作reorganize并且更快
  • 如果不是,如果我们应用分区,例如在表用于日志记录时以年份为基础,自动化过程是否只会重建最后一个分区的数据

在此处输入图像描述

sql-server t-sql
  • 2 2 个回答
  • 311 Views

2 个回答

  • Voted
  1. Best Answer
    David Browne - Microsoft
    2021-01-10T08:53:01+08:002021-01-10T08:53:01+08:00

    我在用于记录的表上有一个聚集的列存储索引 - 仅插入

    如果只应用插入,应该是操作重组并更快

    你甚至不应该打扰。为列存储重新组织:

    当逻辑删除 10% 或更多的行时,从行组中物理删除行。删除的字节在物理介质上回收。例如,如果 100 万行的压缩行组删除了 100K 行,SQL Server 将删除已删除的行并重新压缩包含 900k 行的行组。它通过删除已删除的行来节省存储空间。

    组合一个或多个压缩行组以将每个行组的行数增加到最多 1,048,576 行。例如,如果您批量导入 5 批 102,400 行,您将获得 5 个压缩行组。如果您运行 REORGANIZE,这些行组将合并为 1 个大小为 512,000 行的压缩行组。这假设没有字典大小或内存限制。

    对于其中 10% 或更多行已被逻辑删除的行组,数据库引擎会尝试将此行组与一个或多个行组组合。例如,行组 1 压缩为 500,000 行,行组 21 压缩为最多 1,048,576 行。行组 21 删除了 60% 的行,剩下 409,830 行。数据库引擎倾向于组合这两个行组来压缩一个包含 909,830 行的新行组。

    特定于重组列存储索引的注意事项

    所以它所要做的就是将打开的行组组合成一个新的压缩行组。然后下次插入任何内容时,您将获得新的打开行组。因此,在您的场景中 REORGANIZE 并没有真正的好处。

    正如 JD 建议的那样,您可以对该表进行分区,以便仅将归档压缩应用于较旧的分区。但是你的压缩已经很好了。

    • 5
  2. J.D.
    2021-01-10T05:34:13+08:002021-01-10T05:34:13+08:00

    重组您的索引总是比完全重建更快,而且通常情况下,一个与另一个在性能增益方面的差异是通过重组为您带来更多收益。

    如果您使用Partitioning,那么您可以指定要重建和/或重组的分区。分区是分解大型表/索引以提高数据维护任务的性能的一个很好的解决方案。所以是的,您可以选择仅重建/重组最后一个分区,或安排您想要在任何时间间隔维护的任何分区。

    我不确定当你说你有“35.41 亿行”时你的意思是 35 亿行,因为 6.6 GB 的保留空间对于这么多行来说非常小,但在我看来,一旦你开始超过大约 50 亿行单个表是分区可能是实施的一个不错的选择。

    • 3

相关问题

  • SQL Server - 使用聚集索引时如何存储数据页

  • 我需要为每种类型的查询使用单独的索引,还是一个多列索引可以工作?

  • 什么时候应该使用唯一约束而不是唯一索引?

  • 死锁的主要原因是什么,可以预防吗?

  • 如何确定是否需要或需要索引

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve