Início / unix / Perguntas / 477998
Accepted
Draconis
Asked: 2018-10-27 08:32:47 +0800 CST

Por que sort diz que ɛ = e?

  • 772

ɛ("Latin epsilon") é uma letra usada em certas línguas africanas, geralmente para representar o som da vogal em inglês "bed". Em Unicode é codificado como U+025B, muito diferente do e.

No entanto, se eu sorto seguinte:

eb
ed
ɛa
ɛc

parece que sortconsidera ɛe eequivalente:

ɛa
eb
ɛc
ed

O que está acontecendo aqui? E existe uma maneira de fazer ɛe edistinguir para sortfins de ing?

sort locale

3 respostas

  1. Best Answer

    Não, não os considera equivalentes, apenas têm o mesmo peso primário. Então, em primeira aproximação, eles classificam o mesmo.

    Se você olhar para /usr/share/i18n/locales/iso14651_t1_common (como usado como base para a maioria das localidades) em um sistema GNU (aqui com glibc 2.27), você verá:

    <U0065> <e>;<BAS>;<MIN>;IGNORE # 259 e
<U025B> <e>;<PCL>;<MIN>;IGNORE # 287 ɛ
<U0045> <e>;<BAS>;<CAP>;IGNORE # 577 E

    e, ɛe Etêm o mesmo peso primário, ee Emesmo peso secundário, apenas o terceiro peso os diferencia.

    Ao comparar strings, sort(a strcoll()função libc padrão é usada para comparar strings) começa comparando os pesos primários de todos os caracteres, e só vai para o segundo peso se as strings forem iguais aos pesos primários (e assim por diante com os outros pesos) .

    É assim que o caso parece ser ignorado na ordem de classificação em primeira aproximação. Abclassifica entre aae ac, mas Abpode classificar antes ou depois abdependendo da regra do idioma (alguns idiomas têm <MIN>antes <CAP>como em inglês britânico, alguns <CAP>antes <MIN>como em estoniano).

    Se etivesse a mesma ordem de classificação que ɛ, printf '%s\n' e ɛ | sort -uretornaria apenas uma linha. Mas como <BAS>classifica antes <PCL>, esó classifica antes ɛ . eɛeclassifica depois EEE(no peso secundário) mesmo que EEEclassifica depois eee(para o qual precisamos ir até o terceiro peso).

    Agora, se no meu sistema com glibc 2.27, eu corro:

    sed -n 's/\(.*;[^[:blank:]]*\).*/\1/p' /usr/share/i18n/locales/iso14651_t1_common |
  sort -k2 | uniq -Df1

    Você notará que existem alguns caracteres que foram definidos com exatamente os mesmos 4 pesos. Em particular, nosso ɛ tem os mesmos pesos que:

    <U01DD> <e>;<PCL>;<MIN>;IGNORE
<U0259> <e>;<PCL>;<MIN>;IGNORE
<U025B> <e>;<PCL>;<MIN>;IGNORE

    E com certeza:

    $ printf '%s\n' $'\u01DD' $'\u0259' $'\u025B' | sort -u
ǝ
$ expr ɛ = ǝ
1

    Isso pode ser visto como um bug de localidades GNU libc. Na maioria dos outros sistemas, as localidades garantem que todos os caracteres diferentes tenham uma ordem de classificação diferente no final. Em localidades GNU, fica ainda pior, pois existem milhares de caracteres que não têm uma ordem de classificação e acabam classificando da mesma forma, causando todos os tipos de problemas (como quebrar comm, join, lsou globs com ordens não determinísticas ... ), daí a recomendação de usar LC_ALL=Cpara contornar esses problemas .

    Conforme observado por @ninjalj nos comentários, o glibc 2.28 lançado em agosto de 2018 veio com algumas melhorias nessa frente, embora o AFAICS, ainda existam alguns caracteres ou elementos de agrupamento definidos com ordem de classificação idêntica. No Ubuntu 18.10 com glibc 2.28 e em uma localidade en_GB.UTF-8.

    $ expr $'L\ub7' = $'L\u387'
1

    (por que U+00B7 seria considerado equivalente a U+0387 somente quando combinado com L/ l?!).

    E:

    $ perl -lC -e 'for($i=0; $i<0x110000; $i++) {$i = 0xe000 if $i == 0xd800; print chr($i)}' | sort > all-chars-sorted
$ uniq -d all-chars-sorted | wc -l
4
$ uniq -D all-chars-sorted | wc -l
1061355

    (ainda mais de 1 milhão de caracteres (95% do intervalo Unicode, abaixo de 98% em 2.27) classificando da mesma forma que outros caracteres, pois sua ordem de classificação não está definida).

    Veja também:

    • 68

  2. homem tipo:

       ***  WARNING  ***  The locale specified by the environment affects sort
   order.  Set LC_ALL=C to get the traditional sort order that uses native
   byte values.

    Então tente:LC_ALL=C sort file.txt

    • 15

  3. O caractere ɛ não é igual a e, mas alguns locais podem reunir esses sinais juntos após a ordenação. A razão para isso é específica da linguagem, mas também de algum contexto histórico ou mesmo político. Por exemplo, a maioria das pessoas provavelmente espera que a moeda €uro chegue perto da Europa no dicionário.

    De qualquer forma, para ver qual agrupamento você está usando no momento, run locale, o locale -afornecerá a lista de localidades disponíveis no sistema e, para alterar o agrupamento, digamos Capenas para uma execução de classificação LC_COLLATE=C sort file. Finalmente, para ver como diferentes localidades podem classificar seu arquivo, tente

    for loc in $(locale -a)
    do echo ____"${loc}"____
    LC_COLLATE="$loc" sort file
done

    Encaminhe o resultado para alguma ferramenta greping para escolher a localidade que atenda às suas necessidades.

    • 8

relate perguntas