AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 221106
Accepted
JohnG
JohnG
Asked: 2018-10-27 06:06:57 +0800 CST2018-10-27 06:06:57 +0800 CST 2018-10-27 06:06:57 +0800 CST

使用校验和与 Binary_checksum 验证数据

  • 772

基于这篇文章,我能够通过添加索引来解决性能问题,并认为我完成了我的项目,直到我遇到校验和问题......然后我做了研究(应该在我开始项目之前完成)并且发现checksum 和 binary_checksum 在系统关键环境中不可靠。

我正在寻找一种可靠的方法来计算商店中一张表的数据,然后将其与总部的同一张表进行比较。

正如上面提到的帖子中所解释的,数据文件在发生时从多个商店(交易)传输到总部。对于每家商店,所讨论的表格都非常大。在总部,同一张表包含来自所有商店的相同信息,这使得它变得非常庞大。数据通过文件传输,因为 HO 和商店之间没有任何直接连接。理想情况下,如果我可以从商店传输所有数据,逐行并将其与总部的表格进行比较,那将是很棒的,但这是不可想象的,因为它太大了。

我尝试HASHBYTES通过将列转换为字符串来使用,但发现它在 SQL Server 2014 之前有 8000 个字符的限制。我们的系统必须支持从 2008 年到今天的任何版本的 SQL Server。

我正在尝试找到一种可靠的方法来获取某种类型的聚合校验和值,该校验和值可以逐个在每个商店和他们的 head_office 表之间进行比较。

更新:我试过使用 Hashbyte,但它在我的情况下不起作用,因为由于每家商店和总部之间的数据量,我没有逐行比较。示例:如果一家商店的表有 100 000 行,那么拥有 10 家商店信息的总部将在同一张表中包含 1 000 000 行......我无法将所有行从商店发送到总部只是为了比较并确保所有数据已成功传输。所以我的想法是在每个日期聚合商店的信息,并将其与总部同一家商店的相同聚合进行比较,如果我发现不匹配,我有一个流程被触发以从商店请求信息具体日期到总部。

我很高兴找到校验和的 Checksum_agg,它就是这样做的……但是在阅读和测试不同的场景(例如 checksum(100.00) 给出与 checksum(10.00) 相同的结果)之后,它扼杀了我的整个逻辑。

还有其他想法吗?任何人?

sql-server sql-server-2008
  • 1 1 个回答
  • 823 Views

1 个回答

  • Voted
  1. Best Answer
    JohnG
    2018-11-03T07:43:07+08:002018-11-03T07:43:07+08:00

    帮助我解决这个难题的解决方案是使用带有 SHA2_256 的哈希字节,然后将其转换为 bigint,然后转换为 float,最后求和。

    请注意,从 varbinary 到 bigint 的转换可能很危险,但在我的例子中是可以接受的。不支持直接从 varbinary 到 float 的转换......并且由于溢出,用 bigint 总结许多记录是不够的......因此将 bigint 转换为 float 的原因。

    • 1

相关问题

  • 死锁的主要原因是什么,可以预防吗?

  • 我在索引上放了多少“填充”?

  • 是否有开发人员遵循数据库更改的“最佳实践”类型流程?

  • 如何确定是否需要或需要索引

  • 从 SQL Server 2008 降级到 2005

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve