主页 / dba / 问题 / 151959
Accepted
trench
Asked: 2016-10-12 06:15:17 +0800 CST

从 MS SQL Server 中提取大量数据的 BCP 代码

  • 772

自 6 月以来，我一直在使用 Python 执行 SQL 查询并每天检索前一个日期的数据，并将其加载到本地的 Postgres 数据库中。每个日期大约有 200 万行和 75 列左右，因此它相当大，需要一段时间才能拉出。

有人可以给我一个生成 CSV（逗号）文件的示例 bcp 代码吗？我一次可以提取多少数据，或者我可以循环遍历 SELECT 语句中的每个日历日期？我希望这将是一种更快的方法来复制我感兴趣的表。

我的 Python 代码基本上归结为 SELECT * FROM table_name WHERE report_date = {}。报告日期通常是昨天。

如果其他人都偶然发现，这是我的最终工作结果。subprocess.run 执行包含 BCP 查询的字符串。在下面的代码中，有一些变量，例如 table_name、数据库名称和查询日期，因为我在不同日期循环访问不同的表和数据库。

path = 'C:/raw/'
filename = '{}_{}.csv'.format(database, select_database(database)[table_int])
query = '"SELECT * FROM {}.dbo.{} WHERE row_date = \'{}\'"'.format(database, select_database(database)[table_int], query_date)
command = 'BCP {} queryout \"{}\" -t, -c -S "server_name" -T'.format(query, os.path.join(path, filename))
table_name = 'raw_{}_{}'.format(select_database(database)[table_int], database)
logger.info(command)
subprocess.run(command)
sql-server bcp

2 个回答

  1. 互联网上有很多示例 - 搜索“bcp comma delimited”另外，请参阅此处的 BCP 语法。

    这应该让你开始：

    bcp <YourDatabase>.<YourSchema>.<YourTable> out C:\OutData.dat -o C:\OutData.log -S . -T -c -a 65535' -t, -b100000
    • BCP - 命令
    • 您从 Sql Server 导出的完全限定对象（这也可能是一个视图）
    • out - 导出数据的路径和文件名
    • -o - 关于提取的行数的输出日志信息
    • -S - sql server 实例名（这里默认）
    • -T - 使用可信连接
    • -c - 以字符格式导出数据
    • -a - 数据包大小为 65535
    • -t - 您的列分隔符（在这种情况下为逗号）
    • -b - 批量大小（用于性能）
    • 1
  2. Best Answer

    您可以根据需要使用查询每月 BCP 出局，也可以 BCP 出整个表。

    bcp "SELECT * FROM table_name WHERE report_date = {}" queryout <FilePath And Filename> -c -t, -T -S "<servername>"

    或者

    bcp <database>.<schema>.<tablename> out <filepath and filename> -c -t, -T -S "<Servername>"

    有多个可用于 BCP 的开关，在这种情况下使用以下开关：

    • -c - 使用字符数据类型，使用 char 作为存储类型，tab 作为分隔符
    • -t, - 用逗号替换制表符分隔符
    • -T - 使用受信任的 (Windows) 身份验证

    还有更多可用的开关（MSDN 有完整参考），因此您可能需要调整一些东西以获得您需要的东西。如果一切都失败了，您可以创建格式文件以确保以您需要的确切方法获取数据。

    • 1

相关问题