AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 20157
Accepted
Jeff Sacksteder
Jeff Sacksteder
Asked: 2012-06-30 07:05:23 +0800 CST2012-06-30 07:05:23 +0800 CST 2012-06-30 07:05:23 +0800 CST

SSIS 查找组件异常

  • 772

我在具有查找操作的数据流中看到了奇怪的行为。如果我选择“完全缓存”模式,则某些部分的查找会失败,我无法解释原因。“无缓存”和“部分缓存”一样正常工作。在这一点上,如果它神秘地失败,我不能相信生产中的“完整缓存”。

预期的结果是这样的——

1 808 larry curly moe
2 808 larry curly moe
3 314 foo bar baz
4 314 foo bar baz
5 314 foo bar baz
6 314 foo bar baz

完全缓存会产生这个 -


1 808 larry curly moe
2 808 larry curly moe
3 314 foo bar baz
4 314 foo bar baz
5 314 null null null
6 314 null null null

'314' 示例是实际结果。前两条记录正确查找,后两条失败。如果它们是缓存未命中,则它们应该对所有四行都失败。

失败是可重复的——相同的项目每次运行都以相同的顺序失败。该环境是一个隔离的测试环境,具有三个在运行之间不会发生变化的固定数据库。选择部分缓存明显变慢,这意味着有大量缓存未命中。没有一张表特别大,一千行左右。

这是怎么回事?我应该放弃使用完整缓存的希望吗?

sql-server-2008-r2 ssis
  • 1 1 个回答
  • 3235 Views

1 个回答

  • Voted
  1. Best Answer
    brian
    2012-06-30T18:34:44+08:002012-06-30T18:34:44+08:00

    我也看到过这种行为。我的原因是服务器内存,我将在指南中解释。这很烦人,因为它是断断续续的。

    使用部分缓存,缓存开始为空,然后查询,直到找到匹配项。如果您有多个匹配项,则第一个获胜。使用完整缓存,如果您有多个匹配项,我不确定哪个会赢。可能是缓存顺序中的第一个。

    部分缓存有一个未命中缓存的选项,它会记住哪些记录没有匹配,并且不会再次查询它们。如果您要插入正在查找的表中,这将是一个问题。同样使用完整缓存,如果您的源包含重复项,则插入第一个后第二个将无法匹配,如果您想抑制除第一个之外的所有内容,这将是一个问题。

    以下是我在使用查找时尝试遵循的一些准则:

    1. 查找永远不会将缓存交换到磁盘。如果内存不足,任务将失败。如果这是您的问题,请获取更多内存或尝试部分内存。
    2. 尽可能使用整数。如果该字段是字符串但可以强制转换为 int,请执行此操作。这可以一起消除大小写和空白问题
    3. 修剪字符串。空白会让你适应。
    4. 如果是字符串,在比较之前两边都大写(查找区分大小写,如果大小写不匹配将失败)。
    5. Null 从不等于 Null。如果该列可以为空,如果是字符串,则用“UNKNOWN”替换两边,如果是整数,则替换为 -999 等无理数。
    6. 如果该列为空,则将两边替换为文本“EMPTY”

    这让人头疼,但总比凌晨 3 点接到电话要好,因为一级客户 ETL 失败了。

    • 4

相关问题

  • SQL Server 2008 R2 中的自动收缩、加密和恢复模型属性

  • SQL Server 2008 R2 群集的无人参与安装失败并出现错误 - “路径中有非法字符”。

  • 迁移大型数据库

  • 代理执行的维护计划

  • 随机化表内容并将它们存储回表中

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    如何查看 Oracle 中的数据库列表?

    • 8 个回答
  • Marko Smith

    mysql innodb_buffer_pool_size 应该有多大?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    从 .frm 和 .ibd 文件恢复表?

    • 10 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    如何选择每组的第一行?

    • 6 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    pedrosanta 使用 psql 列出数据库权限 2011-08-04 11:01:21 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST
  • Martin Hope
    bernd_k 什么时候应该使用唯一约束而不是唯一索引? 2011-01-05 02:32:27 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve