AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 51809
Accepted
Adrian Torrie
Adrian Torrie
Asked: 2013-10-19 23:06:53 +0800 CST2013-10-19 23:06:53 +0800 CST 2013-10-19 23:06:53 +0800 CST

SSIS 2012 Ftp 并行/异步多文件下载

  • 772

对于任何一种情况,任何帮助都将不胜感激。

如果

是否有任何设置可用于从 FTP 服务器并行下载多个文件?

别的

如果没有,我想我会通过 C# 脚本源组件使用:List Directory Contents with FTP、FtpWebRequest Class和C# Multiple Download from FTP using parallel task - Duplicate Download issue开始。

其他详情

  • SSIS 2012 保存到本地 Windows Server 2012 目录
  • 100 + ascii 文本文件
  • 6 个同级文件夹
  • 文件名约定:AAAA_YYYYMMDD.txt
  • 文件大小范围为 5KB - 15MB
  • 目前一次只能下载一个文件
  • 在此阶段通过 SSDT 每天手动运行一次(仍在原型设计/开发中,所以还没有在生产系统上,但我计划让 Sql Agent 将来运行这些包)
  • 将文本文件数据加载到数据仓库暂存表的下游包(如果使用脚本任务,那么响应流缓冲区可能会进入多播,其中 1 个缓冲区流写入文本文件,而另一个缓冲区流写入暂存表?)
ssis c#
  • 1 1 个回答
  • 1641 Views

1 个回答

  • Voted
  1. Best Answer
    billinkc
    2013-10-20T07:20:08+08:002013-10-20T07:20:08+08:00

    本地人,没有。

    哎呀,我几乎没有将开箱即用的 FTP 组件归类为真正的组件。它仅针对最基本的操作满足 FTP 的一些技术规范。我通常ftp.exe使用参数文件从 Execute Process Task 调用,或者只是使用 .NET 库来执行此操作。

    我从来没有想过并行化 FTP 下载,但是这个关于 SO 的问题看起来像是一个有效的实现https://stackoverflow.com/questions/18117536/c-sharp-multiple-download-from-ftp-using-parallel-task -重复下载问题

    根据您设计事物的方式,我得出的结论是,让包下载文件然后对它可能找到的文件执行操作是一种痛苦的模式。相反,我发现通过分离这些活动并假设消费包仅在数据已经存在时才会运行,我得到了更好的结果。这使我能够对获取数据的方式进行彻底的更改(我们从 SFTP 转到 FTP,没有更改核心包),而无需验证/重新测试数据的处理。对我来说可能不是问题,但简化了我的合规生活。

    上述的最终结果是我的代理工作从“运行包”变为“运行 ftp 包”、“测试存在”、“运行处理包”或“警告未找到文件”。模块化为我们提供了更大的灵活性,并且让更多的人来解决这个问题,而不是一个人在一个单一的包上工作。

    • 2

相关问题

  • Microsoft BI 中的 BI 开发

  • 数据仓库设计:组合日期时间维度与单独的日期和时间维度和时区

  • 我可以降级 SSIS 包以在旧版本的 SQL 上运行吗

  • 在 Microsoft BI 中查找改进材料

  • 约束 SSIS 执行进程任务的最简单方法

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    授予用户对所有表的访问权限

    • 5 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    pedrosanta 使用 psql 列出数据库权限 2011-08-04 11:01:21 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve