主页 / dba / 问题 / 103594
Accepted
Nelson
Asked: 2015-06-10 04:53:22 +0800 CST

跨不同数据库引用的重复记录

  • 772

我有一个包含“人员”数据（大约 70K 条记录）的表，它与“地址”表共存，因此AddressID“人员”表中每个人都有一个。

想法是将数据集中在这个单一的“人口”数据库中，一旦由于执行不当的导入过程（数据来自不同来源）而开始出现重复记录，问题就开始了，这使得表中有多达 7 条记录单身人士。

此外，地址表开始收集“各种”，假设我住在“ 24 Wickam Heights ”，您可以通过以下方式找到该地址：

  • 24 维卡姆
  • 威肯街 24 号
  • 威肯街 24 号
  • 24 威卡姆 H.
  • 24维卡姆海峡。

在某些情况下，同一条街道的 20 多个不同版本一样糟糕......

最美妙的部分是来自该数据库的数据被同一服务器中至少 5 个其他数据库引用，这使得每次更改都是一个非常冒险的过程。

所以我在想，可以采取什么步骤来消除重复项？有什么替代方法可以避免地址表累积如此多的数据不一致？。

甚至要问，这么大的烂摊子还有救吗？这真是一场噩梦。

sql-server-2005 database-design

1 个回答

  1. Best Answer

    市面上有一些很棒的数据清理产品，其中一款实际上是一流的，而且价格实惠。我遇到过Data Ladder的 DataMatch ，这是一种出色的模糊匹配和地址标准化/地址解析工具，可在整个业务中使用，并且非常适合这种情况。他们为新用户提供免费试用。

    事实上，对该软件进行了独立验证评估，将其与 IBM 和 SAS 的主要软件工具进行了比较。澳大利亚科廷大学数据链接中心进行了一项研究，模拟了 440 万条记录的匹配。它确定了提供商在准确性方面的情况（找到的匹配项数量与可用匹配项的数量。错误匹配项的数量）

    1.  DataMatch Enterprise, Highest Accuracy (>95%), Very Fast, Low Cost
2.  IBM Quality Stage , high accuracy (>90%), Very Fast, High Cost (>$100K)
3.  SAS Data Flux, Medium Accuracy (>85%), Fast, High Cost (>100K)
    • 0

相关问题