Início / unix / Perguntas / 456766
Accepted
vivoru
Asked: 2018-07-18 05:37:39 +0800 CST

Trate "\r" como nada em "while read -r"

  • 772

Eu tenho essa linha de código que lê um arquivo de texto linha por linha.

O arquivo de texto às vezes é gerado por um usuário do Windows, às vezes por um usuário do Unix. Portanto, às vezes vejo \r\nno final da linha e às vezes vejo apenas \n.

Eu quero que meu script seja capaz de lidar com os dois cenários e alcançar cada linha separadamente, independentemente de a quebra de linha ser \r, ou \n, ou \r\n, ou \n\r.

while read -r textFileLines; do ... something ...; done < text_file.txt

Este código funciona com \n\r(LF CR) no final de cada linha, mas NÃO funciona quando tenho \r\nno final da linha!

TESTE

  • Crie um novo arquivo de texto usandoNotepad++ v7.5.4

    insira a descrição da imagem aqui

  • while read -r LINE; do echo "$LINE"; done < /cygdrive/d/test_text.txt

  • saída no Terminal:

    first_line
second_line
third_string

Por que a fourth_outputlinha não é mostrada?

shell-script shell

4 respostas

  1. Por que a fourth_outputlinha não é mostrada?

    Na sua imagem, o arquivo está sem a nova linha no final da última linha. readretorna true somente se ler o delimitador (newline) e, como não está no final da última linha, readretorna false, seu loop termina e a última linha incompleta não é impressa.

    Isso não tem nada a ver com os retornos de carro, o comportamento é o mesmo mesmo com apenas NL, se a última linha estiver faltando o NL.

    Aqui, file1tem duas linhas com terminações de linha CRLF:

    $ cat -A file1
foo^M$
bar^M$
$ while read x ; do echo "<$x>"; done < file1
>foo
>bar

    file2está faltando a linha que termina na segunda linha:

    $ cat -A file2 ; echo
foo^M$
bar
$ while read x ; do echo "<$x>"; done < file2
>foo

    Se você quiser que o loop também processe o fragmento de linha final, você terá que verificar se a readvariável contém algum dado quando readela mesma retornar falha:

    $ while read -r x || [ "$x" ] ; do echo "<$x>"; done < file2
>foo
<bar>

    Se você quiser se livrar do CR, você pode removê-lo dentro do loop, por exemplo x=${x%$'\r'};(em Bash/ksh/zsh), ou pré-processar o arquivo com tr -d '\r'ou dos2unixou algo assim.

    • 1

  2. Existem ferramentas explícitas disponíveis para fazer isso. o mais comum que pode ser usado para remover \r\narquivos é chamado dos2unix.

    Se isso não estiver disponível em seu sistema, você pode usar um dos seguintes comandos para fazer algo semelhante em sua textFileLinesvariável:

    awk 
    $ echo "$textFileLines" | awk 1 RS='\r\n' ORS=
    sed 1 
    $ echo "$textFileLines" | sed -e 's/\r//g'
    sed 2 
    $ echo $textFileLines | sed $'s/\r//'
    tr 
    $ echo "$textFileLines" | tr -d '\r'

    É claro que existem muitas outras maneiras de fazer isso, essas são apenas algumas das mais comuns.

    Referências

    • 0
  3. Best Answer

    Se você tiver alguns arquivos que são arquivos de texto DOS e alguns que são arquivos de texto Unix, seu script pode passar todos os dados por dos2unix:

    dos2unix <filename |
while IFS= read stuff; do
   # do things with "$stuff"
done

    Os arquivos de texto Unix não seriam modificados por isso.

    Para lidar adicionalmente com quebras de linha do Mac, acredito que você deve ser capaz de fazer

    dos2unix <filename | mac2unix |
while IFS= read stuff; do
   # do things with "$stuff"
done

    A última linha não é emitida pelo seu readloop, pois não é finalizada e, portanto, não é uma linha.

    Para detectar se um arquivo não possui uma nova linha final na última linha e adicionar uma se não tiver, em bash:

    if [ "$( tail -c 1 filename )" != $'\n' ]; then
    printf '\n' >>filename
fi

    Relacionado:

    • 0

  4. Executar:

    $ [ -n "$(tail -c1 infile)" ] && echo >> infile
$ sed 's/\r$\|^\r//g;s/\r/\n/g' infile | while IFS= read -r line
> do echo "$line" ; done
DOS       line
second     DOS
old  mac   line
new  mac   line
end\n\rreverse
linux      line
new linux  line

    Todos os problemas resolvidos.

    Descrição:

    Para corrigir a última nova linha ausente, use:

    [ -n "$(tail -c1 infile)" ] && echo >> infile

    O que adicionará uma nova linha à direita somente se necessário (não alterará um arquivo correto).

    Então, você pode converter

    • \r\n(estilo DOS) para \n(basta remover um \r no final da linha)
    • \n\r(estilo DOS inválido?) para um \n(remover \r no início da linha)
    • e então (com os pares corrigidos) converta \r(MAC antigo) para\n

    em apenas uma chamada de (GNU) sed com:

    sed 's/\r$\|^\r//g;s/\r/\n/g' infile

    Se o arquivo de texto for como este arquivo de teste:

    $ cat infile
DOS       line
second     DOS
new  mac   line
end\n\rreverse
linux      line
new linux  line
no  end   line

$ cat -A infile
DOS       line^M$
second     DOS^M$
old  mac   line^Mnew  mac   line$
end\n\rreverse$
^Mlinux      line$
new linux  line$
no  end   line

$  od -An -tc infile
   D   O   S                               l   i   n   e  \r  \n
   s   e   c   o   n   d                       D   O   S  \r  \n
   o   l   d           m   a   c               l   i   n   e  \r
   n   e   w           m   a   c               l   i   n   e  \n
   e   n   d   \   n   \   r   r   e   v   e   r   s   e  \n  \r
   l   i   n   u   x                           l   i   n   e  \n
   n   e   w       l   i   n   u   x           l   i   n   e  \n
   n   o           e   n   d               l   i   n   e
    • 0

relate perguntas