主页 / dba / 问题 / 46153
Accepted
GWR
Asked: 2013-07-12 05:25:53 +0800 CST

SQLCMD 导出 1650 万行

  • 772

我正在使用 sqlcmd 将表导出到 TSV 文件，但遇到了问题。该表有 16+ 百万行和大约 55 列。

问题是它没有导出完整的表，但似乎在各个点随机停止（我猜是超时？）每次导出不同数量的行并且每次文件的大小略有不同（表明我没有达到任何行或大小限制）。

我没有使用任何超时开关（意味着使用“只要它需要”的默认值）。

这是我的命令（为了简化和说明目的，删除了大多数列）：

sqlcmd -U myUsername -P myPassword -S SERVERNAME -d "DBNAME" -Q "SELECT ROW_KEY, ISNULL(CARRIER_ID, ''),ISNULL(CONVERT(VARCHAR(19),ORDER_DATETIME,120),''),ISNULL(HEIGHT, ''),ISNULL(RESIDENTIAL_CHARGE, '') FROM MYTABLE" -o "OUTPUT_FILE.txt" -h-1 -s"|" -W

我想知道它是否与超时或在所有列上使用 ISNULL() 有关（尽管当我在 sql server management studio 中运行查询时，我得到了正确的返回行数，例如 1600 万 + ）？

同样，我每次得到大约 4-8 百万行，但从来没有全部。我在 sql server 2k5 db 中，并从带有 sql server 2k8 的远程计算机运行 sqlcmd。

sql-server sqlcmd

3 个回答

  1. Best Answer

    您可能希望使用 bcp 来执行此操作，它是为此类事情设计的。它会是这样的：

    bcp "SELECT ROW_KEY, ISNULL(CARRIER_ID, ''),ISNULL(CONVERT(VARCHAR(19),ORDER_DATETIME,120),''),ISNULL(HEIGHT, ''),ISNULL(RESIDENTIAL_CHARGE, '') FROM MYTABLE" queryout OUTPUT_FILE.txt -c -S <servername> -U <login_name> -P <password>

    如果您正在处理 nvarchar/nchar，并且想要 Unicode 输出，请将 -c 替换为 -w。

    • 6

  2. 可能会考虑使用Invoke-Sqlcmd，因为您是在安装了 SQL 2008 的机器上工作。您没有像现在这样获得列分隔符-s选项sqlcmd，但在 PowerShell 中，您可以将其导出为 XML 或 CSV。

    您的查询的基本语法是：

    
$q = @"
SELECT ROW_KEY, 
   ISNULL(CARRIER_ID, ''),
   ISNULL(CONVERT(VARCHAR(19),ORDER_DATETIME,120),''),
   ISNULL(HEIGHT, ''),
   ISNULL(RESIDENTIAL_CHARGE, '') 
FROM MYTABLE
"@

Invoke-Sqlcmd -ServerInstance MyServer -Database MyDatabase -Query $q -Username  -
Password  | Export-Csv MyFile.txt

    然后，如果您绝对需要在列之间保留特定的分隔符，您可以稍微修改一下查询：

    
SELECT ROW_KEY + '|' + 
   ISNULL(CARRIER_ID, '') + '|' +
   ISNULL(CONVERT(VARCHAR(19),ORDER_DATETIME,120),'') + '|' +
   ISNULL(HEIGHT, '') + '|' +
   ISNULL(RESIDENTIAL_CHARGE, '')
FROM MYTABLE
    • 3

  3. @db2 说了什么。如果这不起作用，请尝试对数据进行分段。如果你有一个整数 ID 字段，你可以添加

     WHERE ID % @NumSegments = @SegmentNumber

    从零到比段数少一的@SegmentNumber 的所有值循环，您应该得到所有记录。Microsoft SQL 的模数实现只返回正数，不像某些 ( https://stackoverflow.com/questions/4412179/best-way-to-make-javas-modulus-behave-like-it-should-with-negative-numbers /4412200#4412200）语言。

    • 0

相关问题