Início / unix / Perguntas / 789149
Accepted
AlastairG
Asked: 2025-01-06 23:43:32 +0800 CST

iconv falha ao detectar caractere utf-8 válido como utf-8

  • 772

Meus dados de entrada são os seguintes (conforme gerados pelo hexdump):

000000f0  69 61 6e e2 80 99 73 20  65 79 65 73 20 61 62 72  |ian...s eyes abr|

Quando abro este arquivo html() no Firefox, ele exibe estes caracteres como:

ian’s eyes abr

De acordo com o link https://superuser.com/questions/1237545/characters-in-email-displayed-like-e2-80-99 , "E2 80 99 é a sequência de valores hexadecimais que codificam uma aspa simples direita (') em UTF-8".

Este site concorda: https://www.utf8-chartable.de/unicode-utf8-table.pl?start=8192&number=128

Quando executo este comando iconv no arquivo que contém estes caracteres:

iconv -f UTF-8 -t ISO-8859-15 test_chapter.html > blah.html

Recebo a saída:

iconv: illegal input sequence at position 243

e o conteúdo de "blah.html" é truncado exatamente onde o apóstrofo estaria.

Então, para resumir, a internet diz que essa é uma sequência válida de bytes para UTF-8, mas o iconv discorda.

Alguém pode me ajudar a entender o que está acontecendo? Isso é um bug no iconv?

Como nota lateral, quando uso esse arquivo html com kindlegen para gerar um arquivo AZW, o caractere não é exibido corretamente. Tudo o que a internet pode me dizer é que preciso converter o arquivo para UTF-8, mas, até onde sei, já está!

unicode

1 respostas

  1. Best Answer

    Seu comentário:

    talvez o problema esteja na conversão para ISO-8859-15 em vez da conversão de UTF-8

    está no caminho certo. O problema é que não há ’no ISO-8859-15. O caractere mais similar é '. Veja quais man 1 iconvestados no Debian 12 estou usando:

    Se a string //TRANSLITfor anexada a to-encoding, os caracteres que estão sendo convertidos são transliterados quando necessário e possível. Isso significa que quando um caractere não pode ser representado no conjunto de caracteres de destino, ele pode ser aproximado por meio de um ou vários caracteres de aparência semelhante. Caracteres que estão fora do conjunto de caracteres de destino e não podem ser transliterados são substituídos por um ponto de interrogação ( ?) na saída.

    Use -t ISO-8859-15//TRANSLITentão.

    Como prova de conceito, isso funciona para mim (no pl_PL.UTF-8local):

    printf '%s\n' 'ian’s eyes abr' | iconv -f UTF-8 -t ISO-8859-15//TRANSLIT

    A saída é ian's eyes abr(com uma nova linha no final). Acontece que a representação dessa string exata é idêntica em ISO-8859-15 e em UTF-8, então escolhi não ofuscar o comando canalizando adicionalmente para iconv -f ISO-8859-15 -t UTF-8.

    • 11

relate perguntas