问题[change-data-capture](dba)

我有一个包含历史数据的表。每天都会添加相同的员工名单和新的日期（每天有 1200-12500 名员工，但今天可能只有少数员工是新添加的，或者他们可能昨天离开公司而没有显示在今天的名单上）。

我想知道每天哪些员工不在昨天的名单上，这是新员工，员工昨天出现但今天没有，因为他们离开了公司。我已经尝试了以下但不高兴请帮助我的历史表如下所示，我需要一个脚本来仅获取 ID4 和 ID5 的行。

SELECT StaffID, StaffNAME, CensusDate
FROM table1 AS A 
LEFT JOIN table1 AS B 

ON A.StaffID = B.StaffID AND A.date = GETDATE())  AS date) 
and B.date = CAST(DATEADD(day, -1, convert(date, GETDATE())) AS date) 
AND A.staffID IS NULL

在我的产品中，我们需要为报告团队创建一个解决方案来提取和处理数据。我们需要从我们的数据库向他们发送增量数据更改。我正在评估各种解决方案。研究了 CDC 和 Replication，但不确定要使用哪一个或构建一个自定义的。

虽然 CDC 易于配置并且需要比复制更少的基础架构，但更改表位于同一个数据库中，性能可能会降低，具体取决于报告团队查询数据库的频率。

复制似乎更畅销，但它需要大量的基础设施。看起来也必须在同一服务器中有单独的数据库实例或使用另一台服务器。

定制解决方案在这里会有所帮助吗？有没有办法创建数据库副本并从源数据库读取日志并通过作业将增量数据推送到目标数据库。

我有一个作为 CRUD Web 应用程序构建的报价管理系统。

随着时间的推移，我意识到我需要改进它，以便管理层可以有他们的报告。

因此，我研究了数据仓库的 Kimball 方法。

我现在熟悉维度表和事实表的概念。

在纸和笔上，我已将报价单行项目标识为事实表。

我的问题是有时，销售代表和客户就订单项经常来回切换，所以订单项会频繁更改数量甚至被删除。

我知道根据 Kimball 的书，事实表不应该有零行。

我的问题是如何处理事实表中的此类更改？

根据消息来源，我应该不断更新事实表。

请指教。

在我的 Sql Server 2012 数据库中有下表

CREATE TABLE [dbo].[HumanResource](
    [ID] [int] IDENTITY(1,1) NOT NULL,
    [Name] [nvarchar](50) NOT NULL,
    [IsHired] [bit] NULL,
    [Address] [nvarchar](max) NULL,
    [Score] [bigint] NULL,
    [LastUpdate] [datetime] NULL,
 CONSTRAINT [PK_HumanResource] PRIMARY KEY CLUSTERED 
(
    [ID] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]

当我更新地址字段（nvarchar，不是 null）时，它被捕获如下

NULL 3 2 mahmood True here 111 2014-09-01 14:42:28.913
NULL 4 2 mahmood True there 111 2014-09-01 14:42:28.913

但是当我更新 Score 字段 (nvarchar, null ) 时，它被捕获

NULL 3 2 mahmood True NULL 111 2014-09-01 14:42:28.913 NULL
4 2 Mahmood True 111 2014-09-01 14:42:28.913

**编辑（更新和选择查询）：

update HumanResource set Address = 'blah blah blah' where id = 2
update HumanResource set Score = Score + 1 where id = 2

SELECT        TOP (10000) __$start_lsn, __$end_lsn, __$seqval, __$operation,  
__$update_mask, ID, Name, IsHired, Address, Score, LastUpdate
FROM            cdc.dbo_HumanResource_CT

考虑到 sql server 更新是一个链式删除和插入，第一行是删除行捕获，第二行是插入行捕获。

但我不明白为什么当我更新其他字段时地址被跟踪为 NULL，我将不胜感激有关此问题的任何信息。

在使用 SQL Server 的更改数据捕获时，我注意到 fn_cdc_get_all_changes_... 表值函数在查询捕获表时都使用 NOLOCK。在查询捕获表时，这是推荐的做法吗？如果是，为什么？

使用 SQL Server 2012，我有一个分层表布局 (TPT)。所有表“继承”同一个基表 ( dbo.DataObjects)。所有表都启用了通过 CDC 进行的历史跟踪。

我正在尝试编写一个通用函数，该函数返回给定类型的 CDC 历史信息，包括来自所有基表的相关信息。

假设我的类型是直接继承自User的表，我的查询应该是这样的：dbo.Usersdbo.DataObjects

DECLARE @Begin_LSN binary(10),@End_LSN binary(10) 
SELECT @Begin_LSN = sys.fn_cdc_get_min_lsn('dbo_Users') 
SELECT @End_LSN = sys.fn_cdc_get_max_lsn() 
SELECT * FROM cdc.fn_cdc_get_all_changes_dbo_DataObjects(@Begin_LSN, @End_LSN,'ALL') AS a 
JOIN cdc.fn_cdc_get_all_changes_dbo_Users(@Begin_LSN, @End_LSN,'ALL') AS b 
ON a.__$start_lsn = b.__$start_lsn
WHERE ID = 10;

这将为我提供 ID 为 10 的用户的完整历史记录，包括基表中的列。

现在我想动态构建这种查询。

我的问题之一是用于检索历史信息的 cdc 函数包括捕获实例的名称：

cdc.fn_cdc_get_all_changes_<capture_instance>

我还需要第二行中捕获实例的名称来获取最小 lsn：

sys.fn_cdc_get_min_lsn('<capture_instance>') 

捕获实例名称要么在我为表启用 CDC 时自动创建，要么手动传递。如果我不想自己跟踪捕获实例名称，有没有办法检索给定表的捕获实例名称？

我知道每个表可以有多个捕获实例（我认为最多 2 个），但我可能总是每张表只使用一个。

PS：我也知道捕获实例名称通常是内置的<schema>_<table>，但是依靠这个假设似乎有点冒险。未来版本的命名约定可能会发生变化，或者有人可以提供手动捕获实例名称/更改名称。

我们正在研究在 SQL 2012 中使用更改数据捕获。我们正在尝试确定是否有一种简单的方法可以找出给定 lsn 更改了哪些表。是否有内置函数，或者我们是否需要查询每个 cdc 表以查看 lsn 是否在其中？

更新以解释更多关于我们正在尝试做的事情：

我们正在尝试构建一个进程来查看数据库中所有表的 cdc 数据（想想 100 个）。该进程将按计划运行，并且会知道它处理的最后一个 lsn。当它运行时，我们希望对自上次记录 lsn 以来发生更改的每个 cdc 表执行一些操作。

我们可以检查fn_cdc_get_all_changes_dbo_tablename(@lastlsn, @currentlsn, 'all')，但问题是我们必须运行它 100 次（每个表一次）。我们可以检查一个中心位置吗？

我们遵循敏捷开发流程，在这种情况下，这意味着我们经常更改数据库架构，例如添加新列、将数据移动到其他列等。

是否有一种机制可以将 CDC 表更新为新模式，在迁移数据库模式时是否有关于如何处理捕获数据的最佳实践？

我启用了更改数据捕获并且工作正常。我的问题是如何查询数据以向用户显示发生了什么变化。

我正在学习在 SQL Server 2008 中使用 CDC，我已经读到 LSN 总是递增并且基于时间戳，所以为什么需要 LSN，如果它是从时间戳计算的，它可以用作所做更改的增量序列 ID。我相信lsn也会有其他用途。