Início / unix / Perguntas / 742727
Accepted
knot22
Asked: 2023-04-13 04:13:46 +0800 CST

Adicione um CR antes de cada LF

  • 772

Eu tenho um arquivo de texto sendo processado em uma máquina Windows. É necessário remover os caracteres de tabulação antes de usar bcpo utilitário para carregar os dados do arquivo em uma tabela de banco de dados.

O seguinte comando, em um script Bash, retirou as guias à direita:

sed 's/[\t]*$//' < ./input/raw.txt >> ./input/data.txt

mas converteu o CR- LFpara LFo qual causou bcpa falha do comando.

Em um esforço para manter o CR- LFeu tentei isso:

sed 's/[\t]*$/$CR/' < ./input/raw.txt >> ./input/data.txt

mas isso resultou em:

insira a descrição da imagem aqui

O resultado desejado é:

insira a descrição da imagem aqui

Como faço para modificar o comando para obter a saída desejada?

bash

3 respostas

  1. Você precisa instalar o unix2dospacote. Possui dois utilitários:

    unix2dos    Convert UNIX newlines to CR-LF
dos2unix    Convert DOS CR-LF to UNIX newlines

    Vamos criar um arquivo de teste de cinco linhas e fazer um dump hexadecimal para examinar os finais de linha:

    $ jot -w 'line %d' 5 > foo
$ hexdump -C foo
00000000  6c 69 6e 65 20 31 0a 6c  69 6e 65 20 32 0a 6c 69  |line 1.line 2.li|
00000010  6e 65 20 33 0a 6c 69 6e  65 20 34 0a 6c 69 6e 65  |ne 3.line 4.line|
00000020  20 35 0a                                          | 5.|
00000023

    Vemos que cada linha termina em um caractere de nova linha, hex 0a.

    Agora, convertemos essas novas linhas em finais de linha DOS CR-LF e inspecionamos novamente:

    $ unix2dos foo
$ hexdump -C foo
00000000  6c 69 6e 65 20 31 0d 0a  6c 69 6e 65 20 32 0d 0a  |line 1..line 2..|
00000010  6c 69 6e 65 20 33 0d 0a  6c 69 6e 65 20 34 0d 0a  |line 3..line 4..|
00000020  6c 69 6e 65 20 35 0d 0a                           |line 5..|
00000028

    Agora cada linha termina em CR-LF, hex 0d 0a.

    Por fim, podemos converter o arquivo de volta para as novas linhas originais do UNIX:

    $ dos2unix foo
$ hexdump -C foo
00000000  6c 69 6e 65 20 31 0a 6c  69 6e 65 20 32 0a 6c 69  |line 1.line 2.li|
00000010  6e 65 20 33 0a 6c 69 6e  65 20 34 0a 6c 69 6e 65  |ne 3.line 4.line|
00000020  20 35 0a                                          | 5.|
00000023
    • 23
  2. Best Answer

    Observe que em standard sed, sed 's/[\t]*$//'remove todas as barras invertidas e tcaracteres do final da linha. A implementação GNU de sedsó faz isso quando há uma POSIXLY_CORRECTvariável em seu ambiente.

    sed 's/\t*$//'não é especificado, mas pelo menos com GNU sed, isso acontece para remover TABs à direita, POSIXLY_CORRECTesteja no ambiente ou não.

    Aqui você poderia fazer:

    sed $'s/\t*$/\r/'

    $'...'Usando a forma de aspas no estilo ksh93 dentro das quais coisas como \tou \rsão expandidas para TAB e CR, respectivamente. Isso agora é suportado por muitos outros shells e estará na próxima versão do padrão POSIX para sh.

    Se você tiver caracteres TAB e CR em variáveis ​​de shell, o que você poderia fazer sem, $'...'por exemplo, com:

    eval "$(printf 'TAB="\t" CR="\r"')"

    Você poderia fazer:

    sed "s/$TAB*\$/$CR/"

    Mas isso tem que estar entre aspas duplas. Dentro de aspas simples, nenhuma expansão é executada.

    Agora, no caso improvável de a entrada não terminar em um caractere LF (o que tornaria um texto inválido no Unix), aqueles (pelo menos com GNU) produziriam um arquivo que termina sedem um caractere CR, tornando-o inválido em DOS também.

    Para converter os arquivos de texto de Unix para DOS, você pode usar o unix2dosutilitário que não teria o problema:

    sed $'s/\t*$//' | unix2dos

    Ou use o modo perl's sed:

    perl -pe 's/\t*$//; s/\n/\r\n/'

    perl -pfunciona assim sedno sentido de rodar o código para cada linha de entrada, exceto que no perlespaço padrão ( $_aí) tem a linha completa incluindo o delimitador de linha. Ele também oferece suporte a escapes \t, \n, \r(enquanto o padrão sedoferece suporte apenas \ne apenas em expressões regulares) e pode lidar com arquivos que não sejam de texto.

    • 15

  3. Usando Raku (anteriormente conhecido como Perl_6)

    ~$ cat unix2dos.raku
my $fh1 = open $*IN, :r;
#below :x opens write-only :exclusive (i.e. 'no-clobber')
my $fh2 = open $*OUT, :x, nl-out => "\r\n";

for $fh1.lines() { $fh2.put($_) };

$fh1.close;
$fh2.close;

    Raku (aka Perl6) é uma linguagem de programação da família Perl. Uma coisa que o projeto Perl6 tentou fazer foi abstrair as imperfeições específicas do sistema operacional para tornar o código mais portátil, e uma dessas imperfeições é o processamento de novas linhas. O Raku fornece um nl-inparâmetro para entrada do identificador de arquivo (o padrão é ["\x0A", "\r\n"]), autochomps linhas por padrão, usa \nnovas linhas terminadas internamente e fornece um nl-outparâmetro para saída do identificador de arquivo (padrão é "\n").

    A declaração principal do OP é a seguinte:

    ... mas converteu o CR-LFpara LFo qual causou a falha do comando bcp.

    Portanto, para o script Raku acima (em qualquer plataforma em que você esteja trabalhando), você pode abrir um arquivo para gravação e definir nl-out => \r\n, ou seja, nova linha para CRLF. Raku lê linespreguiçosamente, portanto, esse script deve ser eficiente em termos de memória. Mesmo sem tornar o script acima executável, você pode chamá-lo na linha de comando da seguinte maneira:

    ~$ raku unix2dos.raku < ends_with_LF.txt > ends_with_CRLF.txt

    O padrão do script acima é usar $*INstdin e, portanto, é "único", mas o Raku também fornece funções para leitura $*ARGFILESe diretórios. dirPor fim, há um excelente resumo do processamento de nova linha no Raku no primeiro link abaixo:

    https://docs.raku.org/language/newline.html
    https://raku.org

    • 0

relate perguntas