Início / unix / Perguntas / 787753
Accepted
Avenger
Asked: 2024-12-07 03:19:34 +0800 CST

Como inserir texto antes da primeira linha de um arquivo UTF-8 com BOM

  • 772

Esta questão está intimamente relacionada a: Como inserir texto antes da primeira linha de um arquivo? . Eu deliberadamente fiz o título parecido com o daquela questão para destacar isso.

Exceto que o arquivo de destino é UTF-8 com BOM.

Então, eu quero adicionar uma primeira linha a um arquivo que tem bytes UTF-8 BOM em seu cabeçalho ( 0xef 0xbb 0xbfcaracteres). Pelo menos os arquivos UTF-8 com BOM que eu tenho aqui começam com isso.

Se eu simplesmente seguir em frente e seguir as soluções na questão relacionada,

sed "1i My First line is now this." file.txt

Eu obterei (no VSCode no meu caso) algo como

My First line is now this.
?The first line was this one
Second line and so on

Estando ?na segunda linha o caractere UTF-8 para expressar algo não imprimível.

Outra consequência, como seria de se esperar, é que o arquivo não abre mais como UTF-8 com BOM e agora dependemos dos recursos do editor de texto para "adivinhar" sua codificação. Determinamos um padrão em nosso projeto para ter arquivos com BOM para garantir que tudo esteja na mesma codificação.

Como preservo o cabeçalho da lista de materiais no arquivo ao adicionar o texto?

text-processing

2 respostas

  1. Best Answer

    Da mesma pergunta relacionada, uma resposta abre a porta para a solução aqui: https://unix.stackexchange.com/a/455250/413756

    Então, com um pouco de ajustes em regex select-groups, cheguei a esta expressão:

    sed -Ei "1s/^(|\xef\xbb\xbf)/\1My First line is now this.\n/" file.txt

    E obtive o resultado desejado, preservando o cabeçalho UTF-8 BOM no arquivo e até mesmo fazendo a substituição em arquivos que eventualmente não corresponderão ao cabeçalho.

    Se você tiver certeza de que todos os arquivos são BOM, isso deve ser suficiente:

    sed -Ei "1s/^(\xef\xbb\xbf)/\1My First line is now this.\n/" file.txt

    Observe que isso captura especificamente arquivos BOM UTF-8 com o mesmo cabeçalho exato que tenho aqui. Acredito que sequências de bytes diferentes podem acontecer em formatos diferentes, o que depende de cada caso -- e provavelmente é possível com o regex acima (basta adicionar/substituir |\xXX\xYY\xZZou corresponder ao grupo selecionado).

    Observe também que em ambas as substituições estou assumindo que o final de linha dos arquivos é apenas \n(unix LF), não \r\n(windows CRLF).

    A sintaxe acima funcionou no GNU Sed (Cygwin e provavelmente na maioria das distribuições Linux).

    • 2

  2. UTF-8 BOM é muito não-Unix, provavelmente vem do mundo Microsoft. Então o fim de linha provavelmente também será CRLF em vez de LF e pode até haver mais idiossincrasias da Microsoft para lidar. Se você quiser processá-las com ferramentas Unix/GNU, provavelmente é melhor fazer:

    dos2unix -- "$file" &&
  sed -i -e '1i\
new line' -- "$file" &&
  unix2dos -m -- "$file"

    Para edição no local (aqui usando -iedição n-place no estilo GNU) ou:

    {
  echo new line
  <"$file" dos2unix
} | unix2dos -m > "$newfile"

    Para processar em tempo real (aqui sem a necessidade de sed) e ter o resultado armazenado (de volta no formato Microsoft com BOM) no novo arquivo.

    Outra abordagem é usar perl(de onde algumas sedimplementações copiaram sua -iopção) e usar o File::BOMmódulo como uma camada de E/S, além da :crlfcamada de E/S para lidar com terminações de linha da Microsoft:

    perl -MFile::BOM '-Mopen=IO,:crlf:via(File::BOM)' -pi -E '
  say "new line" if $. == 1' your-file

    Exemplo:

    $ printf '£%s\n' {1..5} | unix2dos -m > msdos-utf-8-with-bom
$ sed -n l msdos-utf-8-with-bom
\357\273\277\302\2431\r$
\302\2432\r$
\302\2433\r$
\302\2434\r$
\302\2435\r$
$ perl -MFile::BOM '-Mopen=IO,:crlf:via(File::BOM)' -pi -E 'say "new line" if $. == 1' msdos-utf-8-with-bom
$ sed -n l msdos-utf-8-with-bom
\357\273\277new line\r$
\302\2431\r$
\302\2432\r$
\302\2433\r$
\302\2434\r$
\302\2435\r$

    Veja a BOM movida para o início da nova linha e a primeira linha também delimitada com CRLF.

    Uma abordagem para lidar com arquivos que podem ter terminações de linha Microsoft ou Unix e um BOM UTF-8 ou não, você pode fazer algo como:

    perl -pi -se 's/^(?:\xef\xbb\xbf)?\K.*?(\r?)$/$new$1\n$&/ if $. == 1
  ' -- -new='new line' file

    Onde, na primeira linha ( $. == 1), Kmantemos o BOM, se houver, e então inserimos a nova linha seguida por um \rse ele foi encontrado no final da primeira linha, então \n, então a primeira linha original.

    Isso não insere a nova linha se o arquivo estava inicialmente vazio (sem BOM), mas depois não saberia se deveria adicionar a nova linha com uma terminação de linha Microsoft ou Unix.

    • 2

relate perguntas