主页 / dba / 问题 / 241960
Accepted
Sindu_
Asked: 2019-07-04 02:58:51 +0800 CST

将数据从时态表加载到 Azure 中的另一个时态表

  • 772

目前，我们只有一个实时数据库，所有数据都驻留在其中。我为开发创建了一个单独的 Azure 服务器和数据库。DEV DB 应该与 Live DB 保持同步，供开发人员使用。

Live DB 具有时间或系统版本表。我需要一个将实时时态表中的数据同步到 DEV 时态表的过程。它应该将 Live temporal 表中的 sysStartTime 和 sysEndTime 加载到 dev（不应在 DEV 中生成新的 sysStartTime 和 endTime）。

这样做的最佳方法是什么？

我已经尝试过 Azure 数据同步，但它不支持时态表。请帮忙。

sql-server data-synchronization

1 个回答

  1. Best Answer

    这里有两个交互问题：在 Azure 数据库之间传输数据，以及更新由系统版本控制维护的数据。可能还有第三个：开发中的实时数据。

    在 Azure 中传输数据

    如果 Azure 数据同步不合适，则可以考虑其他选项。

    • 您也许可以使用 SSIS 包或其他 ETL 选项将数据从 A 转移到 B。
    • 链接表的支持方式与本地 SQL Server 不同，但您可以使用“外部表”作为替代方案。
    • 弹性数据库作业提供了一种从一个数据库查询数据并将其写入另一个数据库的方法，尽管这更适用于记录日志而不是更完整的数据传输，因此以这种方式使用它感觉有点 hacky。

    更新历史表

    无论您使用什么方法将数据从一个数据库传输到另一个数据库，您都面临需要直接操作历史数据的问题。正如您所注意到的，系统版本表保护自己免受此类修改：您根本不能直接修改历史表或指定基表中为修改记录的时间。

    你必须为每张桌子做的是：

    1. 关闭系统版本控制： ALTER TABLE schema.table SET(SYSTEM_VERSIONING = OFF); ALTER TABLE schema.table DROP PERIOD FOR SYSTEM_TIME;
    2. 对基表和历史表进行所需的更改
    3. 重新启动历史跟踪：（ ALTER TABLE schema.table ADD PERIOD FOR SYSTEM_TIME (SysStartTime, SysEndTime); ALTER TABLE schema.table SET(SYSTEM_VERSIONING = ON);您可能需要添加其他选项，具体取决于您的表当前的设置方式，例如，如果您的表不使用默认命名约定）。

    因此，您的整个过程可能分为四个阶段：从源获取更新的数据、关闭历史跟踪、更新目标数据、打开历史跟踪。当最后三个阶段发生时，您需要阻止对目标数据库的其他访问，否则可能导致历史数据损坏。

    选择

    根据数据库的大小和开发工作流程的性质，每次需要刷新其他副本时，简单地备份和恢复完整的新副本可能要容易得多。

    无论如何，您可能都希望使用数据库的恢复副本，以消除可能会减慢应用程序生产实例的额外 IO 负载，以轻松确保获得准确的数据快照而无需持有许多锁，或允许一个完整的人格解体过程（见下文）。

    开发中的实时数据

    与您问题的技术问题无关，这可能是数据保护和安全 PoV 的问题。如果您的应用程序包含任何个人身份识别信息或其他敏感信息，那么这是一个很大的“不”。

    如果您确实直接从 Live 系统中获取数据进行开发，那么您应该正在“去个性化”。这通常更容易使用整个数据库备份+恢复方法可靠地完成：在生产中复制数据库，取消个性化副本，备份，转移到开发服务器，删除生产服务器上现在不需要的副本。

    在开发过程中生成示例数据通常比尝试使用生产数据更好。这样一来，任何去个性化过程中的问题都不会让您面临安全问题（如果您与要求您接受审计的公司合作，也不会导致审计失败），因为您永远不会意外地更改实时数据。如果设计得当，此测试数据可能比真实数据更有用，因为您可以确保它包含所有预期的边缘情况（以及一些意想不到的情况！），因此它成为您的开发和测试过程的一部分。

    当您无法使用其他数据重现报告的问题时，您可能需要偶尔复制生产数据以进行调试，但这种测试与开发不同，应该是最后的手段而不是第一个停靠点。

    • 3

相关问题