主页 / user-11471

Ruud van de Beeten's questions

Martin Hope
Ruud van de Beeten
Asked: 2017-02-02 00:40:18 +0800 CST
  • 1

前言

在我工作的公司，我们在 ETL 流程中使用数据库快照来确保数据处于一致状态。快照文件被放置在一个单独的磁盘上（在我们的例子中是 X:）。

其中一个源数据库是一个 3TB 的数据库，其数据经常更新。在创建此数据库的数据库快照时，我们遇到了快照文件增加并且出现错误的时刻：

“遇到操作系统错误 112（磁盘空间不足。）。”

该错误始终出现在索引维护窗口中，或者在源数据库中运行批量进程时。从那时起，我们增加了 X:\ 驱动器上的可用磁盘空间，并更改了索引维护/dbcc checkdb 作业的计划。正如预期的那样，错误不再发生。

问题

有时我们需要一些大型表的初始加载（600.000.000 行/每个表 300GB）。本周我们在加载这些大表时遇到了不同的错误：

在文件“X:\Data\DatabaseName_snapshot.ss”中的偏移量 0x000056fb976000 处写入期间，操作系统向 SQL Server 返回错误 665（请求的操作由于文件系统限制而无法完成）。

SQL Server 错误日志和系统事件日志中的其他消息可能会提供更多详细信息。

此错误仅在创建快照后 18 到 25 小时内发生。

已经尝试过的事情

  1. 禁用所有索引维护/dbcc checkdb 作业和其他更改大量数据的进程（用户输入除外）。
  2. 监控快照磁盘上的可用空间（X:\ 400GB）。发生错误时，大约 80% 的可用空间是可用的。
  3. 在 stackexchange 上寻找类似的问题。发现的数据库快照进入未回答的可疑模式（WIN2K8R2 上的 SQL 2014） 。
  4. 立即查看文章https://blogs.msdn.microsoft.com/psssql/2015/06/10/operating-system-error-665-file-system-limitation-not-just-for-dbcc-anymore/。

有没有人有更多的想法来解决这个问题？

我们使用的是 SQL Server 2014 SP2 CU1，企业版和 Windows Server 2012。

sql-server snapshot
Martin Hope
Ruud van de Beeten
Asked: 2015-11-04 03:06:53 +0800 CST
  • 7

我工作的公司有几个 SQL Server 数据库，其中的表包含 +- 500.000.000 行。我们正在运行 SQL Server 2008R2 和 2014 的企业版。

大数据类型

当我查看最大表中使用的数据类型时，我看到了很多 BIGINT 列。使用 Thomas Larock 的脚本检查这些列中的数据并自己编写 MIN() 和 MAX() 值的脚本，我得出结论，这些 BIGINT 列中的数据可以轻松地适合 INT 甚至 SMALLINT/TINYINT 列。（我知道将来某些列可能需要 BIGINT 的范围，所以我不会在不先与开发人员交谈的情况下盲目更改所有数据类型）

在比较更改数据类型时可能节省的费用时，表的大小似乎是当前大小的一半（甚至不考虑索引和其他表）。这些数字没有任何数据压缩。

行压缩

在大表上启用了 ROW 压缩。我想知道“缩小”列数据类型的实际影响可能是什么，请记住 ROW 压缩仅使用需要的字节。例如，如果一个值可以存储在 1 个字节中，则存储将只占用 1 个字节。

真题

它是否有助于缩小数据类型，从而使 ROW 压缩使用更少的资源？还是说“因为启用了 ROW 压缩，所以 BIGINT、INT 或 SMALLINT 数据类型之间没有区别”？

sql-server datatypes
Martin Hope
Ruud van de Beeten
Asked: 2014-08-08 23:37:33 +0800 CST
  • 1

我在 Visual Studio 2012 中创建了串行 SSIS 包，它们可以毫无问题地执行。

对于我正在处理的项目，我使用 BIML 生成包。在我的 BIML 脚本中，我在两个定义的数据库模式中为每个数据库视图创建了一个包。例如：

  • [crm].[联系方式]
  • [crm].[帐户]
  • [导航].[供应商]
  • [导航].[客户]

包的名称将是 [schemaname] viewname, ea "[crm] contact"。

当我在 Visual Studio 中启动一个包时，我收到消息“无法启动项目”，如下所示。

Visual Studio 2012 中的错误消息

“异常反序列化包。”包中不存在指定的部分“。

为什么会出现这个错误？

ssis visual-studio-2012
Martin Hope
Ruud van de Beeten
Asked: 2012-12-07 05:52:47 +0800 CST
  • 1

当我从事研究生项目（使用 SQL Server 2012 语义搜索进行文本挖掘）时，我遇到了需要在这个网站上发布问题的情况，希望有人能帮助我。

这个问题是关于SQL Server 2012 中的停用词列表和停用词。我已经设置了一个概念证明，我正在尝试使用新的语义搜索功能索引文档并列出统计相关的关键短语。因为我不希望某些词被索引，因此统计相关的关键短语，我正在创建一个停止列表来排除这些词。

英语的停用词/停用词 ( lcid 1033 )：

/* Create stoplist and add words */ 
CREATE FULLTEXT STOPLIST [naam van de stoplist];
   ALTER FULLTEXT STOPLIST [naam van de stoplist] ADD 'beeten' LANGUAGE 'English';
   ALTER FULLTEXT STOPLIST [naam van de stoplist] ADD 'centimeter' LANGUAGE 'English';
   ALTER FULLTEXT STOPLIST [naam van de stoplist] ADD 'info' LANGUAGE 'English';
   ALTER FULLTEXT STOPLIST [naam van de stoplist] ADD 'ruud' LANGUAGE 'English';
GO

使用自定义停止列表和语义创建全文目录、全文索引：

/* Full-Text catalog */
CREATE FULLTEXT CATALOG [ft] WITH ACCENT_SENSITIVITY = ON AS DEFAULT;
GO

/* Full-Text Index */
CREATE FULLTEXT INDEX ON [dbo].[Documents]
    (   file_stream Language 1033 STATISTICAL_SEMANTICS )
    KEY INDEX DocumentsFt
    WITH STOPLIST = [naam van de stoplist];
GO

我尝试了我能想到的一切来检查我是否错过了什么：

    /*Select all words in the stoplist, with some debug information*/
    SELECT sys.fulltext_stoplists.stoplist_id AS [Stoplist id]
        ,  sys.fulltext_stoplists.name AS [Stoplist]
        ,  sys.database_principals.name AS [Owner]
        ,  sys.fulltext_languages.lcid AS [LCID]
        ,  sys.fulltext_languages.name AS [Taal]
        ,  sys.fulltext_stopwords.stopword AS [Stopwoord] 
    FROM sys.fulltext_languages
    INNER JOIN sys.fulltext_stopwords 
        ON sys.fulltext_stopwords.language_id = sys.fulltext_languages.lcid
    INNER JOIN sys.fulltext_stoplists 
        ON sys.fulltext_stopwords.stoplist_id = sys.fulltext_stoplists.stoplist_id
    INNER JOIN sys.database_principals ON sys.database_principals.principal_id = sys.fulltext_stoplists.principal_id
    WHERE sys.fulltext_stoplists.name = 'naam van de stoplist';

/* List with all Full-Text Indexes (with statistical_semantics) */
SELECT sys.fulltext_catalogs.name [Full-Text catalog]   
    , sys.indexes.name AS [Index] 
    , sys.indexes.type_desc AS [Index type]
    , sys.fulltext_indexes.is_enabled AS [Index in use]
    , sys.fulltext_stoplists.name AS [Stoplist]
    , sys.tables.name AS [Table]
    , sys.columns.name AS [Column]
    , sys.fulltext_index_columns.language_id AS [LCID]
    , sys.fulltext_languages.name AS [Language]
    , sys.fulltext_index_columns.statistical_semantics [Semantic]
FROM sys.fulltext_catalogs
INNER JOIN sys.fulltext_indexes 
    ON sys.fulltext_catalogs.fulltext_catalog_id = sys.fulltext_indexes.fulltext_catalog_id
INNER JOIN sys.fulltext_index_columns 
    ON sys.fulltext_indexes.object_id = sys.fulltext_index_columns.object_id
INNER JOIN sys.indexes 
    ON sys.fulltext_indexes.object_id = sys.indexes.object_id 
    AND sys.fulltext_indexes.unique_index_id = sys.indexes.index_id
INNER JOIN sys.index_columns 
    ON sys.indexes.object_id = sys.index_columns.object_id 
    AND sys.indexes.index_id = sys.index_columns.index_id
INNER JOIN sys.columns 
    ON sys.index_columns.object_id = sys.columns.object_id 
    AND sys.index_columns.column_id = sys.columns.column_id
INNER JOIN sys.tables 
    ON sys.fulltext_indexes.object_id = sys.tables.object_id
INNER JOIN sys.fulltext_languages 
    ON sys.fulltext_index_columns.language_id = sys.fulltext_languages.lcid
LEFT JOIN sys.fulltext_stoplists 
    ON sys.fulltext_indexes.stoplist_id = sys.fulltext_stoplists.stoplist_id    
WHERE sys.fulltext_index_columns.statistical_semantics = 1
ORDER BY sys.fulltext_catalogs.name
        ,sys.indexes.name
        ,sys.index_columns.key_ordinal;

/* Rebuild catalog */
ALTER FULLTEXT CATALOG [ft] REBUILD;
GO

/* Check status of the catalog rebuild */
/*  0 = Idle.
1 = Full population is in progress.
2 = Incremental population is in progress.
3 = Propagation of tracked changes is in progress.
4 = Background update index is in progress, such as automatic change tracking.
5 = Full-text indexing is throttled or pause    
*/
SELECT FULLTEXTCATALOGPROPERTY('ft', 'PopulateStatus') AS Status;
GO

/* Repopulate Full-Text Index */
ALTER FULLTEXT INDEX ON dbo.Documents START UPDATE POPULATION;
GO

上面的所有命令都表明设置正确。

当我查看索引词时，我仍然会看到停止列表中的词，例如“beeten”。

SELECT * 
FROM sys.dm_fts_index_keywords(DB_ID('SQLServerArticles'), OBJECT_ID('Documents'))
WHERE display_term = 'beeten';

如果全文解析器无法与以下语句一起正常工作，我什至尝试过。

SELECT special_term, display_term
FROM sys.dm_fts_parser
(' "testing for fruit and nuts centimeter, any type of Beeten" ', 1033, 8, 0)

此语句返回以下结果：

Exact Match testing
Exact Match for
Exact Match fruit
Exact Match and
Exact Match nuts
Noise Word  centimeter
Exact Match any
Exact Match type
Exact Match of
Noise Word  beeten

这个结果表明单词“beeten”是一个噪声词。索引时应该跳过这个词吗？我错过了什么？

再说一遍：因为我不希望某些词被索引，因此在统计上相关的关键短语，我正在创建一个停止列表来排除这些词。

sql-server index