主页 / dba / 问题 / 208982
Accepted
Wouter
Asked: 2018-06-08 01:34:34 +0800 CST

在 SQL Server BCP xml 格式文件中使用不可打印字符作为 TERMINATOR

  • 772

我有一个纯文本数据文件，其中包含由不可打印字符"​​File Separator" (0x1c) 分隔的字段的记录。我正在尝试使用 SQL Server 的 bcp 实用程序将此数据加载到我的数据库中。然而，当使用文件分隔符的十六进制编码值作为 TERMINATOR 时，我得到一个语法错误。

我试过使用

  • 十六进制编码值："0x1c"
  • XML 编码值作为十六进制：""
  • XML 编码值作为十进制：""

这些都不起作用，但是当对可打印字符使用相同的编码时，例如tab，这确实起作用：	, 	(0x9不起作用。不足为奇，因为这是一个 XML 文件。)

结论似乎是不支持不可打印的字符。是这样吗？这将具有讽刺意味，因为不可打印的分隔符正是为此目的而创建的......

您可以在下面找到重现此问题的所有代码：

XML格式文件：test.xml

<?xml version="1.0"?>
<BCPFORMAT xmlns="http://schemas.microsoft.com/sqlserver/2004/bulkload/format" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
 <RECORD>
  <FIELD ID="1" xsi:type="CharTerm" TERMINATOR="&#x1c;" MAX_LENGTH="10" COLLATION="Latin1_General_CS_AS_WS"/>
  <FIELD ID="2" xsi:type="CharTerm" TERMINATOR="\r\n" MAX_LENGTH="41"/>
 </RECORD>
 <ROW>
  <COLUMN SOURCE="1" NAME="COL1" xsi:type="SQLVARYCHAR"/>
  <COLUMN SOURCE="2" NAME="COL2" xsi:type="SQLNUMERIC" PRECISION="4" SCALE="0"/>
 </ROW>
</BCPFORMAT>

数据文件：test.txt
这只是一行，作为一个测试用例。StackExchange 没有在下面的行中显示分隔符，但是当您单击此帖子的“编辑”时，分隔符已包含在内，您应该可以复制粘贴它。

1111111112008

命令行 

bcp TEST_DB.dbo.UL_TEST in "test.txt" -T -f "test.xml"
sql-server xml

2 个回答

  1. Best Answer

    从有关BCP - Specify Field and Row Terminators (SQL Server)的文档看来，不支持不可打印的字符：

    支持作为终结符的字符

    bcp 命令、BULK INSERT 语句和 OPENROWSET 批量行集提供程序支持各种字符作为字段或行终止符，并且始终查找每个终止符的第一个实例。下表列出了终止符支持的字符。

    在此处输入图像描述

    作为一个选项，您可以使用POWERSHELL读取源文件并0x1C使用其他字符（如 tilda (~)）搜索\替换字符并输出到不同的文件。然后使用该字符作为你的终结者。

    (Get-Content c:\test\test.txt) | ForEach-Object {$_ -replace [char]0x1C,'~'} | Set-Content c:\test\testout.txt
    • 6

  2. 由于@ScottHodgin 指出不支持不可打印的字符，因此在源文件中替换它们是唯一的选择。

    您可以在下面找到一个示例 PowerShell 脚本，该脚本可以对以 UTF8 编码的文件进行此替换（带或不带 BOM 标头无关紧要），并写入以 UTF8 编码的不带 BOM 标头的输出文件。

    此外，它使用 AppendAllLines 将其转换为流式操作。这种方式也适用于大文件，因为在替换之前不必将它们完全加载到内存中。-ReadCount 1000 大大加快了这个过程。

    $Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False
Get-Content -Encoding UTF8 -ReadCount 1000 test.txt |
     Foreach-Object { 
        [System.IO.File]::AppendAllLines(
              [string]'test.txt'
            , [string[]]($_ -replace '\x1C', '?')
            , $Utf8NoBomEncoding
        ) 
    }

    确保将上面的脚本保存在使用带有BOM 标头的 UTF8 编码的文件中，否则 PowerShell 不会将字符处理为 UTF-8。

    • 1

相关问题