Início / dba / Perguntas / 208982
Accepted
Wouter
Asked: 2018-06-08 01:34:34 +0800 CST

Use caracteres não imprimíveis no arquivo de formato xml do SQL Server BCP como TERMINATOR

  • 772

Eu tenho um arquivo de dados de texto simples contendo registros cujos campos são separados pelo caractere não imprimível "File Separator" (0x1c) . Estou tentando usar o utilitário bcp do SQL Server para carregar esses dados no meu banco de dados. No entanto, ao usar o valor codificado em hexadecimal do Separador de Arquivos como TERMINATOR, recebo um erro de sintaxe.

ja tentei usar

  • o valor codificado hexadecimal:"0x1c"
  • o valor codificado em XML como hexadecimal:""
  • o valor codificado em XML como decimal:""

Nada disso funciona, mas ao usar a mesma codificação para um caractere imprimível, como tab, isso funciona: 	, 	( 0x9não funciona. Não é surpresa, pois este é um arquivo XML.)

A conclusão parece ser que os caracteres não imprimíveis não são suportados. É este o caso? Isso seria irônico, já que os caracteres separadores não imprimíveis são criados exatamente para esse fim...

Abaixo você pode encontrar todo o código para reproduzir este problema:

Arquivo de formato XML: test.xml

<?xml version="1.0"?>
<BCPFORMAT xmlns="http://schemas.microsoft.com/sqlserver/2004/bulkload/format" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
 <RECORD>
  <FIELD ID="1" xsi:type="CharTerm" TERMINATOR="&#x1c;" MAX_LENGTH="10" COLLATION="Latin1_General_CS_AS_WS"/>
  <FIELD ID="2" xsi:type="CharTerm" TERMINATOR="\r\n" MAX_LENGTH="41"/>
 </RECORD>
 <ROW>
  <COLUMN SOURCE="1" NAME="COL1" xsi:type="SQLVARYCHAR"/>
  <COLUMN SOURCE="2" NAME="COL2" xsi:type="SQLNUMERIC" PRECISION="4" SCALE="0"/>
 </ROW>
</BCPFORMAT>

Arquivo de dados: test.txt
Esta é apenas uma linha, como um caso de teste. O StackExchange não mostra o separador na linha abaixo, mas quando você clica em "Editar" para esta postagem, o separador é incluído e você deve poder copiar e colar isso.

1111111112008

Linha de comando 

bcp TEST_DB.dbo.UL_TEST in "test.txt" -T -f "test.xml"
sql-server xml

2 respostas

  1. Best Answer

    Parece , da documentação sobre BCP - Especificar Terminadores de Campo e Linha (SQL Server) , que os caracteres não imprimíveis não são suportados:

    Personagens suportados como exterminadores

    O comando bcp, a instrução BULK INSERT e o provedor de conjunto de linhas em massa OPENROWSET oferecem suporte a uma variedade de caracteres como terminadores de campo ou linha e sempre procuram a primeira instância de cada terminador. A tabela a seguir lista os caracteres com suporte para terminadores.

    insira a descrição da imagem aqui

    Como opção, você pode usar POWERSHELLpara ler o arquivo de origem e pesquisar\substituir os 0x1Ccaracteres por algum outro caractere como um tilda (~) e enviar para um arquivo diferente. Em seguida, use esse caractere como seu terminador.

    (Get-Content c:\test\test.txt) | ForEach-Object {$_ -replace [char]0x1C,'~'} | Set-Content c:\test\testout.txt
    • 6

  2. Como @ScottHodgin apontou que caracteres não imprimíveis não são suportados, substituí-los no arquivo de origem é a única alternativa.

    Abaixo, você pode encontrar um exemplo de script do PowerShell que pode fazer essa substituição em um arquivo codificado em UTF8 (com ou sem cabeçalho BOM não importa) e grava um arquivo de saída codificado em UTF8 sem um cabeçalho BOM.

    Além disso, ele usa AppendAllLines para transformar isso em uma operação de streaming. Dessa forma, também funciona para arquivos grandes, pois eles não precisam ser totalmente carregados na memória antes de fazer as substituições. -ReadCount 1000 acelera o processo drasticamente.

    $Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False
Get-Content -Encoding UTF8 -ReadCount 1000 test.txt |
     Foreach-Object { 
        [System.IO.File]::AppendAllLines(
              [string]'test.txt'
            , [string[]]($_ -replace '\x1C', '?')
            , $Utf8NoBomEncoding
        ) 
    }

    Certifique-se de salvar o script acima em um arquivo codificado com UTF8 com cabeçalho BOM, caso contrário, o PowerShell não processa os caracteres como UTF-8.

    • 1

relate perguntas