我创建了一个简单的 SSIS 包,用于查询表并将数据提取到平面 CSV 文件中。在生产中,此提取可能是数百万行,我想根据行数将平面文件目标拆分为多个文件。
因此,每次我们使用文件名达到 100000 行时创建新文件,例如
- SomeName_01_date.csv
- SomeName_02_date.csv
我找到了 ZappySys 的付费工具,它可以做到这一点,但不能用普通的 SSIS 工具箱来解决这个问题,我可能会遗漏一些非常简单的东西。我找到了其他帖子和视频,但其中一些涉及使用常规工具集之外的其他代码,例如 techbrothersit 网站。
编辑:在阅读和评论之后,这看起来比预期的要难。
如果我更改基于表中日期列拆分平面文件的过程,那会更直接吗?
表格有一个短日期列,格式为 2020-07-30,每个 CSV 文件将仅包含一天的提取数据(可能是 100K+),然后从表格中删除该数据。提取所有数据后将进行删除。
我正在尝试使用 foreach/forloop 容器,但由于这对我来说是全新的,所以我很努力,任何帮助将不胜感激。
为什么不通过执行的查询来限制数据,无论是使用
OFFSET
andFETCH
子句还是使用谓词,您都可以在 SSIS 中的每次迭代中滑动窗口?