AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / user-222555

Davide De Pretto's questions

Martin Hope
Davide De Pretto
Asked: 2022-01-28 03:31:13 +0800 CST

为什么 dbcc 的收缩数据库和收缩文件不起作用?

  • 2

好,我知道了。缩小数据库是错误的。你讨厌它。但让我解释一下。

我有一个 1TB P1 Azure SQL 数据库正在生产中,有大约 50 个表,其中大约 5 个是 JSON 容器。这是最初的设计,我很快意识到它的局限性,所以现在我正在将这些 JSON 的存储卸载到更合适的 Azure 存储帐户。

这个过程需要时间(JSON 用于不同的业务流程,我一次迁移一个),所以我目前正在删除成功迁移后的行范围。不过,我不能截断或删除整个表。

在迁移了许多业务流程之后,我现在只剩下 868.64 GB 的分配空间和 390.82 GB 的已用空间。当然,我想将存储大小降低到 400GB 层以降低成本,但是当我尝试从 Azure 门户执行此操作时,我收到以下错误消息:

数据库的存储大小不能小于当前分配的大小。为了减小数据库大小,数据库首先需要通过运行来回收未使用的空间DBCC SHRINKDATABASE (<db_name>)。请注意,此操作可能会在运行时影响性能,并且可能需要几个小时才能完成。

好吧,够公平的。所以我继续执行命令(当然,使用正确的数据库名称),几个小时并成功执行后,情况完全一样。没有空间回收。

在此之后,我进行了以下尝试:

  • 也许我必须强制重组+截断,所以我执行dbcc shrinkdatabase(<db_name>, notruncate)后跟dbcc shrinkdatabase(<db_name>, truncateonly):没有结果。
  • 也许我必须缩小单个文件,所以我执行dbcc shrinkfile(<file_name>): 还是一样。
  • 也许我必须将文件缩小到一个特定的值,所以我再次执行了 `dbcc shrinkfile(<file_name>, <free_space_on_file_in_mb>): ,没有运气。

这个查询

with
    [BaseData] as (
        select
            [DF].[type_desc]                            as [Type],
            [DF].[name]                                 as [FileName],
            [DF].[size] / 131072.0                      as [TotalSpaceInGB],
            [UP].[size] / 131072.0                      as [UsedSpaceInGB],
            ([DF].[size] - [UP].[size]) / 131072.0      as [FreeSpaceInGB],
            [DF].[max_size]                             as [MaxSize]
        from [sys].[database_files] as [DF]
            cross apply (
                select fileproperty([DF].[name], 'spaceused') as [size]
            ) as [UP]
    )
select
    [BD].[Type]                                         as [Type],
    [BD].[FileName]                                     as [FileName],
    format([BD].[TotalSpaceInGB], N'N2')                as [TotalSpaceInGB],
    format([BD].[UsedSpaceInGB], N'N2')                 as [UsedSpaceInGB],
    format([BD].[FreeSpaceInGB], N'N2')                 as [FreeSpaceInGB],
    case [BD].[MaxSize]
        when 0 then N'Disabled'
        when -1 then N'Unrestricted'
        else format(([BD].[MaxSize] / 131072.0), N'N2')
    end                                                 as [MaxSizeInGB]
from [BaseData] as [BD]
order by [BD].[Type] asc, [BD].[FileName];

总是返回相同的结果:

类型 文件名 总空间InGB 已用空间InGB 自由空间InGB 最大尺寸
文件流 XTP 2.03 无效的 无效的 不受限制
日志 日志 1.63 0.60 1.03 250.00
行 数据_0 509.47 231.58 277.89 512.00
行 dfa_data_3 359.17 159.27 199.91 512.00

另外,这个查询:

with
    [BaseData] as (
        select
            [TB].[object_id]                            as [ObjectId],
            max([PT].[rows])                            as [RowCount],
            count(distinct [IX].[index_id])             as [IndexCount],
            sum([PS].[used_page_count]) / 131072.0      as [UsedSpaceInGB],
            sum([PS].[reserved_page_count]) / 131072.0  as [ReservedSpaceInGB]
        from [sys].[schemas] as [SC]
            inner join [sys].[tables] as [TB]
                on [SC].[schema_id] = [TB].[schema_id]
            inner join [sys].[indexes] as [IX]
                on [TB].[object_id] = [IX].[object_id]
            inner join [sys].[partitions] as [PT]
                on [TB].[object_id] = [PT].[object_id]
                    and [IX].[index_id] = [PT].[index_id]
            left join [sys].[dm_db_index_usage_stats] as [IS]
                on [TB].[object_id] = [IS].[object_id]
                    and [IX].[index_id] = [IS].[index_id]
            left join [sys].[dm_db_partition_stats] as [PS]
                on [PT].[partition_id] = [PS].[partition_id]
                    and [IX].[index_id] = [PS].[index_id]
                    and [TB].[object_id] = [PS].[object_id]
        group by [TB].[object_id]
    )
select top 5
    [BD].[ObjectId]                                     as [ObjectId],
    [BD].[RowCount]                                     as [RowCount],
    [BD].[IndexCount]                                   as [IndexCount],
    format([BD].[UsedSpaceInGB], N'N2')                 as [UsedSpaceInGB],
    format([BD].[ReservedSpaceInGB], N'N2')             as [ReservedSpaceInGB]
from [BaseData] as [BD]
order by [BD].[ReservedSpaceInGB] desc;

清楚地表明表格并没有占用过多的空间:

对象标识 行数 索引计数 已用空间InGB ReservedSpaceInGB
108579475 2892280 1 254.34 254.37
1952114095 834306760 1 79.73 79.74
418204640 20233590 1 23.52 23.53
1599396817 6346104 1 6.63 6.74
1939590048 596471 1 4.75 4.75

我还做了以下考虑:

  • 我遇到过这篇文章,它解释了使用文件组的技巧,但据我所知,在 Azure SQL 数据库上管理这些是不可能的。
  • 这个问题可能与我删除了很多 LOB 的事实有关。我找到了dbcc forceghostcleanup (<db_id>, 'visit_all_pages')命令,但我犹豫要不要尝试。
  • 为了试验 dbcc 的命令,我从备份中创建了数据库的克隆。我认为这排除了与从加速数据库恢复的版本存储中保留行版本的活动事务相关的任何可能的问题。
  • 理想情况下,我想尽可能避免(作为最后手段)复制数据并删除原始表或类似的事情的过程。

数据库中的大多数表都是行存储聚集索引,除了 6.63GB 的表,它是列存储聚集索引,还有 7 个堆都在 40MB 标记以下,无论是分配的还是使用的。所有被删除的表都属于第一类,并且它们没有任何非聚集索引。

我刚试过'DBCC UPDATEUSAGE , but it doesn't seem to change anything; sp_spaceused`返回相同的值。

你有什么见解吗?

azure-sql-database shrink
  • 2 个回答
  • 556 Views
Martin Hope
Davide De Pretto
Asked: 2021-04-20 01:38:00 +0800 CST

Azure SQL 数据库抛出错误 1132“弹性池已达到其存储限制”错误,即使它未满

  • 4

我正在尝试在弹性池内的 Azure SQL 数据库中执行以下(示例)批处理:

drop table if exists [dbo].[InsertTest];
create table [dbo].[InsertTest] (
    [id] uniqueidentifier,
    [filler] nvarchar(max)
);

insert into [dbo].[InsertTest] ([id], [filler])
select top 1000 newid(), replicate('X', 2048)
from [sys].[objects] as [T1]
    cross join [sys].[objects] as [T2];

/* drop table if exists [dbo].[InsertTest]; */

但是该insert语句失败并显示错误消息:

Msg 1132, Level 16, State 1, Line 1
The elastic pool has reached its storage limit. The storage used for the elastic pool cannot exceed (51200) MBs.

我试图通过运行查询来查看是否空间不足

select
    [type_desc]         as [file_type],
    [size] / 128        as [size_in_MB],
    [max_size] / 128    as [max_size_in_MB]
from [sys].[database_files];

但似乎我还有空间。

文件类型 大小_in_MB max_size_in_MB
行 320 256000
日志 584 1048576
文件流 0 0

我能做些什么呢?我错过了什么吗?

sql-server t-sql
  • 1 个回答
  • 2010 Views
Martin Hope
Davide De Pretto
Asked: 2021-03-02 01:48:27 +0800 CST

分区切换与模式传输

  • 0

我正在设计一个数据库,其数据将由 ETL 每天生成。经过一番研究,我发现可以使用分区切换或模式传输来最大化“实时”数据的正常运行时间。仅出于信息完整性考虑,此数据库将部署在 Azure SQL 数据库上,并在 Docker 上的 SQL Server 2019 开发人员版上进行开发。它包含约 20 个表,每个表的行数少于 10M(预期)。

所以现在在我的设计中有两种模式:

  • [App]:包含多个表(没有外键)以及应用程序使用的实时数据。
  • [AppShadow]:包含与模式完全相同的表[App](但带有外键),通常为空,用作 ETL 的目标。

我的流程如下所示:

  • [AppShadow]使用模式中的表作为目标执行 ETL 。外键确保我的数据是一致的。
  • set transaction isolation level serializable; begin transaction;
  • [AppShadow]使用禁用架构中表的所有约束alter table [AppShadow].[<table_name>] nockeck constraint all;
  • 截断[App]模式中的所有表
  • 将所有表的分区从 切换[AppShadow]到[App]
  • 使用重新启用[AppShadow]架构中表的所有约束alter table [AppShadow].[<table_name>] with check check constraint all;
  • commit transaction;

该解决方案似乎工作正常,停机时间最短,但我无法弄清楚使用[Swap]模式和alter schema <schema_name> transfer <table_name>语句在模式之间传输整个表的任何优点或缺点。SQL Server 是 SQL Server,我很确定有一些我不知道的隐藏警告应该让我更喜欢一个解决方案。

你有什么意见或建议吗?

sql-server t-sql
  • 1 个回答
  • 238 Views
Martin Hope
Davide De Pretto
Asked: 2021-01-24 16:04:16 +0800 CST

sys.dm_tran_version_store_space_usage 报告始终使用零空间

  • 4

当我在 Azure SQL 数据库上发现一些奇怪的东西时,我正在学习 RCSI。

DMVsys.dm_tran_version_store_space_usage始终将 0 报告为版本存储使用的空间,即使我之前运行了 CRUD 工作负载。

为了演示这种行为,我创建了一个小测试。

-- Server info
select @@version as sql_version;

-- Database info
select
    is_read_committed_snapshot_on,
    snapshot_isolation_state_desc
from sys.databases
where database_id = db_id();

-- Just to be sure the current database has its version store empty
select reserved_page_count as pre_workload_space_count
from sys.dm_tran_version_store_space_usage
where database_id = db_id();

-- Test workload
drop table if exists RCSI_TEST;

create table RCSI_TEST (
    id uniqueidentifier default newid()
);
go

insert into RCSI_TEST default values;
go 100

update RCSI_TEST
set id = newid();

delete from RCSI_TEST;

-- Metrics
select reserved_page_count as post_workload_page_count
from sys.dm_tran_version_store_space_usage
where database_id = db_id();

waitfor delay '00:01:30'; -- Just to be sure! ;)

select reserved_page_count as post_cleaning_space_count
from sys.dm_tran_version_store_space_usage
where database_id = db_id();

我在 SQL Server 2019 Developer Edition(在 Docker 上)和 Azure SQL 数据库(层 S0、10DTU)上运行了这个脚本,结果如​​下。

SQL Server 2019

sql_version
Microsoft SQL Server 2019 (RTM-CU8) (KB4577194) - 15.0.4073.23 (X64)Sep 23 2020 16:03:08    Copyright (C) 2019 Microsoft Corporation    Developer Edition (64-bit) on Linux (Ubuntu 18.04.5 LTS) <X64>

is_read_committed_snapshot_on   snapshot_isolation_state_desc
1                               ON

pre_workload_space_count
0

post_workload_page_count
8

post_cleaning_space_count
0

Azure SQL 数据库

sql_version
Microsoft SQL Azure (RTM) - 12.0.2000.8     Oct  1 2020 18:48:35    Copyright (C) 2019 Microsoft Corporation

is_read_committed_snapshot_on   snapshot_isolation_state_desc
1                               ON

pre_workload_space_count
0

post_workload_page_count
0

post_cleaning_space_count
0

SQL Server 2019 似乎表现正确,在工作负载之后立即在版本存储中报告 8 页的数据,然后在一分钟左右后清理。但是,在 Azure SQL 数据库上,使用的空间始终为零!这是正确的行为吗?这是什么意思?

联机丛书报告此 DMV 与 SQL Server 和 Azure SQL 数据库兼容,但还说“以下查询可用于确定 tempdb 中消耗的空间,按SQL Server 实例中每个数据库的版本存储。 ”。据我所知,Azure SQL 数据库在设计上对其父实例的范围确实有限。这可能是根本原因吗?

https://learn.microsoft.com/it-it/sql/relational-databases/system-dynamic-management-views/sys-dm-tran-version-store-space-usage?view=sql-server-ver15

我知道 Azure SQL 数据库默认在 RCSI 下运行,并且它们具有基于您获得的层的固定数量的 tempdb 空间,所以我担心用长时间运行的事务或其他进程来填充它,在版本存储太久。但我无法管理我无法衡量的东西,对吧?

azure-sql-database tempdb
  • 1 个回答
  • 165 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve