AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 122593
Accepted
Mathieu Guindon
Mathieu Guindon
Asked: 2015-12-02 10:31:13 +0800 CST2015-12-02 10:31:13 +0800 CST 2015-12-02 10:31:13 +0800 CST

从已经实现 SCD 的规范化源设计维度数据库

  • 772

我已经构建了一个 SSIS ETL 来将各种数据源(一个来自 MySQL,两个来自 SQL Server)集成到一个 SQL Server 关系和规范化数据库中,我称之为 [NDS]。

SSIS ETL 处理类型 2 更新,因此 [NDS] 生成代理键,SCD 表包含一个 [_EffectiveFrom] 时间戳和一个可为空的 [_EffectiveTo] 列,并且对链接所有数据在一起。

现在,我想用它构建一个 SSAS 维度数据库,没过多久我就意识到我正在为雪花模式设置自己:

描述表关系示例的 yUML 图

所以我正在考虑添加一个新的 [DDS](关系)数据库,以创建实际的维度和事实表,这些表将为 SSAS 数据库提供 DSV。

这个 [DDS] 数据库将尽可能地非规范化,以便将事实和维度“扁平化”(例如,[OrderHeaders]+[OrderDetails] 到 [Orders] 事实表,以及 [CustomerStores]+[Customers]+ [SalesReps] 到一些 [Customers] 维度表中)——这样做不仅可以让我更容易地在 SSAS 中构建维度层次结构,还可以更容易地提出一个实际的星型模式。

我有几个问题:

  • 我可以重用现有代理键的子集吗?我正在考虑将现有密钥用于最精细的级别,并将其作为维度密钥。这是一个好方法,还是我应该忽略 [NDS] 代理键并使 [DDS](关系数据库)生成一组新的代理键?
  • 如何处理 SCD?例如,当源系统中某些特定字段发生变化时,“材料”和“供应商”将在 [NDS] 中生成新记录......我想我必须设计 SSIS ETL 以仅加载“最后图像”记录进入 [DDS] 数据库,然后在该过程中重新实现 type-2 更新,即将 [NDS] 视为保留历史的“源系统”,同时复制此 [DDS] 数据库中的所有内容。但是,为什么我需要在 [NDS]和[DDS] 中保留历史记录?显然有些不对劲。

我是在为 Big Mess™ 做准备,还是在正确的轨道上?

sql-server ssas
  • 1 1 个回答
  • 329 Views

1 个回答

  • Voted
  1. Best Answer
    Dave
    2015-12-02T15:57:07+08:002015-12-02T15:57:07+08:00

    如您所见,Kimball Dimensional Modeling 的好处之一是数据仓库设计本质上就是您的 SSAS 设计。虽然总有例外,但您通常可以在 DSV 中选择一个表,然后立即转到层次结构设计、多维数据集关系等。

    我建议转向 DDS,但要注意逐步淘汰 NDS。出于您提到的 SCD Type II 的简单原因——没有理由复制所有这些数据、ETL 和代码库。保留两者会导致过于复杂的解决方案,需要大量维护和风险——这是您需要避免的主要 Big Mess™。

    这是理由:

    • DDS 听起来像 Kimball 维度设计,任何新员工和承包商都可以轻松理解和维护
    • 有许多经过验证的模式和 ETL 设计与此相伴,使设计和维护更容易
    • 通过事实分区和列存储索引等选项更容易处理大量数据
    • 将来为您自己和高级用户提供更轻松的 DW 查询
    • 更简单的整体设计

    仅当您拥有少量数据、没有明显的增长预期并且没有能力切换到数据仓库时,我才建议使用替代设计。这个建议最终包括很多设计工作,否则这些工作将进入 DW,因此类似于保留 NDS 和创建 DDS:

    您可以使用显示为视图或硬编码到 DSV 中的查询来创建多维数据集。

    听起来您克服了很多障碍并使用 NDS 创建了一个功能强大的解决方案。不幸的是,它没有做的是维度建模提供的两件重要事情:简单的查询模式和轻松转换为多维分析。值得庆幸的是,很多 ETL 设计都可能用作加载不同表结构的模板或起点。

    • 3

相关问题

  • SQL Server - 使用聚集索引时如何存储数据页

  • 我需要为每种类型的查询使用单独的索引,还是一个多列索引可以工作?

  • 什么时候应该使用唯一约束而不是唯一索引?

  • 死锁的主要原因是什么,可以预防吗?

  • 如何确定是否需要或需要索引

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve