我正在构建一个教育数据仓库。我有各种维度,我想跟踪对即 DimStudent、DimClass、DimCollege、DimExamPaper 等的更改。我的解决方案目前在加载暂存表之前删除键、截断表并重新创建键,然后继续加载维度表和事实表.
因此,我的问题是我需要进行的最小物理更改是什么——> 在加载之前截断暂存表,跟踪暂存表、昏暗表和事实表之间的变化,以将行增量加载到昏暗表和事实表?我是否需要添加一个或多个表来跟踪每个维度或事实表的更改?我看过示例,但似乎只需要一张桌子就可以完成大量工作。我有 11 个维度、4 个事实表和 22 个登台表。
看到没有人帮助我解决这个问题,我会回答自己帮助任何正在看同样事情的人。看起来好像要在现有仓库上启用 CDC,您需要逐个表执行此操作,建议捕获每个表包中的所有 ETL。此外,建议为每个表启用 CDC 状态以避免冲突。推荐的方法是 --> 在源数据库上启用 CDC。将增量负载转移到 DWH 内的暂存数据库或模式。将记录增量加载到维度和事实。我在网上能找到的每个例子都是针对一张桌子的,这几乎没用……如果有人能找到多张桌子的 CDC 例子,我将不胜感激……