Início / unix / Perguntas / 435043
Accepted
forthrin
Asked: 2018-04-03 04:27:45 +0800 CST

Substituir caracteres UTF-8 por shell perl

  • 772

Como faço perlpara substituir corretamente o caractere UTF-8 de um shell?

Os exemplos usam stdin, mas preciso de algo que funcione perl ... filetambém.

Isto é o que eu espero:

$ echo ABCæøåDEF | perl -CS -pe "s/([æøå])/[\\1]/g"
ABC[æ][ø][å]DEF

Isto é o que eu recebo:

$ echo ABCæøåDEF | perl -CS -pe "s/([æøå])/[\\1]/g"
ABCæøåDEF

Substituir os caracteres Unicode por ASCII funciona instantaneamente:

$ echo ABC123DEF | perl -CS -pe "s/([123])/[\\1]/g"
ABC[1][2][3]DEF

Meu ambiente:

perl 5.18.2
Bash 3.2.57
LC_ALL=en_US.UTF-8
LANG=en_US.UTF-8
perl unicode

3 respostas

  1. Best Answer

    Usa isto :

     $ echo 'ABCæøåDEF' |
    perl -CSD -Mutf8 -pe 's/([æøå])/[$1]/g'

    Funciona também para arquivos

    Resultado :

    ABC[æ][ø][å]DEF

    Observação :

    • substituições: \\1é para , \1é para e em usamos$1
    • verifique se perldoc perlrunhá -CSDtruques utf8
    • 8

  2. Sua entrada:

    $ cat input.txt 
ABCæøåDEF
$ hexdump -C input.txt 
00000000  41 42 43 c3 a6 c3 b8 c3  a5 44 45 46 0a           |ABC......DEF.|
0000000d

    Uma boa maneira de IMO é a -Copção mais utf8:

    $ perl -CSD -Mutf8 -pe 's/([æøå])/[$1]/g' input.txt 
ABC[æ][ø][å]DEF
$ cat input.txt | perl -CSD -Mutf8 -pe 's/([æøå])/[$1]/g'
ABC[æ][ø][å]DEF

    Se você não quiser usar UTF-8 na linha de comando, sempre poderá escrever seu código Perl em ASCII simples e usar escapes como \xAB, \x{ABCD}ou em Perls mais recentes \N{U+ABCD}ou \N{CHARNAME}:

    $ perl -CSD -pe 's/([\xE6\xF8\xE5])/[$1]/g' input.txt 
ABC[æ][ø][å]DEF
$ cat input.txt | perl -CSD -pe 's/([\xE6\xF8\xE5])/[$1]/g'
ABC[æ][ø][å]DEF

    Este está ficando um pouco criativo: @ARGVserá interpretado como UTF-8, então você pode manter seu código-fonte como ASCII e passar os caracteres UTF-8 por meio de um argumento de linha de comando (não necessariamente a melhor solução, apenas mostrando como você pode fazer uso da -CAopção):

    $ perl -CSDA -pe 'BEGIN{$p=shift;} s/($p)/[$1]/g' '[æøå]' input.txt 
ABC[æ][ø][å]DEF
$ cat input.txt | perl -CSDA -pe 'BEGIN{$p=shift;} s/($p)/[$1]/g' '[æøå]'
ABC[æ][ø][å]DEF

    Ou, claro, você sempre pode transformar o oneliner em um script real, onde você pode

    use warnings;
use 5.012;
use utf8;
use open qw/:std :encoding(UTF-8)/;
use charnames qw/:full :short/;

    Leitura adicional: perlunitut , perlunifaq , perluniintro , perlunicode , perlunicook .

    • 1

  3. $ echo 'ABCæøåDEF' | perl -CS -Mutf8 -pe 's/([æøå])/[$1]/g'

    • -2

relate perguntas