Início / unix / Perguntas / 429521
Accepted
phuclv
Asked: 2018-03-11 22:09:24 +0800 CST

Como traduzir caracteres Unicode? [duplicado]

  • 772

Estou tentando converter alguns caracteres para o formulário de largura total como este

tr 'abcdefghijklmnopqrstuvwxyz' 'ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ'

No entanto, isso não funciona. Eu fiz uma pesquisa e descobri trque não suporta UTF-8 . Então, com base na resposta dessa pergunta, tentei usar o perl

perl -C -pe 'tr/abcdefghijklmnopqrstuvwxyz/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ/'

Mas ainda sem ajuda. Eu tentei versões mais simples dele

$ echo abca | perl -C -pe 's/a/ａ/g'
ï½bcï½
$ echo abca | perl -C -pe 'tr/a/ａ/'
ïbcï

Parece que perl ainda trata caracteres UTF-8 multibyte como bytes

Como posso converter esses caracteres corretamente?

character-encoding unicode

1 respostas

  1. Best Answer

    Tanto o GNU quanto o BSD sedreconhecem multibyte em localidades apropriadas, e o ycomando é análogo atr :

    $ echo hello | sed -e 'y/abcdefghijklmnopqrstuvwxyz/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ/'
ｈｅｌｌｏ

    Isso deve funcionar na maioria dos lugares em que você provavelmente o executará, desde que sua localidade seja UTF-8.

    A questão do Perl não é tão simples quanto tratar caracteres multibyte como bytes. Está entendendo bem sua entrada e, mesmo codificando a saída, é o código -fonte que não entende:

    $ echo abc | perl -C -pe 'tr/abcdefghijklmnopqrstuvwxyz/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ/'|hexdump -C
00000000  c3 af c2 bd c2 81 0a                              |.......|

    A codificação UTF-8 de "ａ" é ef bd 81, então você pode ver que está tratando "b" como aquele segundo byte e depois distorcendo-o tentando codificá-lo na saída, e o mesmo para "c". Você precisa use utf8ter sua própria fonte Perl (5) codificada dessa maneira ; -Ccontrola apenas IO que o programa faz quando está em execução.

    Você pode colocar use utf8;em sua -estring ou usar -Mutf8na linha de comando :

    $ echo abc | perl -C -Mutf8 -pe 'tr/abcdefghijklmnopqrstuvwxyz/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ/'
ａｂｃ

    O Perl 6 resolve esse problema, como muitos, mas...

    • 11

relate perguntas