Início / unix / Perguntas / 706671
Accepted
dotancohen
Asked: 2022-06-19 11:28:00 +0800 CST

Remova todos os caracteres da string, exceto o intervalo multibyte específico

  • 772

Como alguém usaria sedou outra ferramenta para remover todos os caracteres, exceto um intervalo multibyte específico?

Por exemplo, o intervalo \xd8\xa0 - \xd9\x8aabrange caracteres arábicos codificados em UTF-8. Esta foi minha tentativa ingênua e esperançosa de usar o sed:

$ echo "Peace be upon you. السلام عليكم. שלום עליכם. Paz sobre vosotros." | sed -n -e 's|[^\xd8\xa0-\xd9\x8a]||p'
sed: -e expression #1, char 25: Invalid range end

Tinha sedentendido caracteres multibyte, que deveriam ter nos deixado com a string:

السلام عليكم

Eu considerei usar iconvpara converter para alguma codificação específica do árabe, use sede converta novamente. No entanto, o trabalho que estou fazendo não é trivial, como eu poderia querer preservar tanto o árabe quanto o hebraico, então gostaria de manter tudo em UTF-8 o tempo todo, se possível.

Se sednão puder trabalhar com caracteres multibyte, o que devo usar? Eu procurei por ambos sede perlsoluções sem sorte.

Observe que tentei adicionar uma UTF-8tag à pergunta, mas o unix.SE altera isso para uma Unicodetag. Não há Unicode aqui, são strings codificadas armazenadas no disco. Eu acho que deveria haver uma UTF-8etiqueta separada.

text-processing sed

2 respostas

  1. Best Answer

    Você pode usar propriedades Unicode em Perl:

    echo "Peace be upon you. السلام عليكم. שלום עליכם. Paz sobre vosotros." \
| perl -CIO -pe 's/\P{Arabic}//g'
    • -CIOdiz ao Perl que a entrada e a saída são codificadas em UTF-8.
    • \P{...}é uma correspondência de propriedade negativa, \p{...}seria positiva.
    • 1

  2. Usando Raku (anteriormente conhecido como Perl_6)

    Entrada de amostra (texto do OP salvo como um arquivo de uma linha):

    ~$ cat peace.txt
Peace be upon you. السلام عليكم. שלום עליכם. Paz sobre vosotros.

    Extraia o script árabe:

    ~$ raku -ne 'put m:g/ <:Script<Arabic>>+ /;' peace.txt
السلام عليكم

    Extraia o script hebraico:

    ~$ raku -ne 'put m:g/ <:Script<Hebrew>>+ /;' peace.txt
שלום עליכם

    Extraia o script latino:

    ~$ raku -ne 'put m:g/ <:Script<Latin>>+ /;' peace.txt
Peace be upon you Paz sobre vosotros

    Raku fornece suporte de alto nível para Unicode, e seu mecanismo Regex cresceu para ser um "analisador gramatical" capaz. Veja os links abaixo. Observe que o código acima retornará linhas em branco se não houver correspondência. Se você deseja apenas elementos/linhas correspondentes, basta adicionar uma chamada condicional à variável de correspondência $/(ou ):$<>

    ~$ cat peace2.txt #(remove terminal period from each phrase)
Peace be upon you
السلام عليكم
שלום עליכם
Paz sobre vosotros

~$ raku -ne 'put m:g/ <:Script<Latin>>+ /;' peace2.txt
Peace be upon you


Paz sobre vosotros

~$ raku -ne 'put $/ if m:g/ <:Script<Latin>>+ /;' peace2.txt
Peace be upon you
Paz sobre vosotros

    Por fim, você pode pesquisar a negação de uma propriedade Unicode interpondo um !caractere. Você também pode adicionar (ou até subtrair) da(s) classe(s) de caracteres desejada(s) com +e/ou -. [Observe o átomo regex adicional :Z(espaço em branco) abaixo. No interesse da completude, o código abaixo mostra os parâmetros +e - embora a possa funcionar na prática]:!-

    ~$ raku -ne 'put $/ if m:g/ <+:!Script<Latin> + :!Z >+ /' peace2.txt
السلام عليكم
שלום עליכם

    https://docs.raku.org/language/unicode
    https://docs.raku.org/language/unicode#index-entry-UTF-8_Clean-8
    https://stackoverflow.com/a/66540269/7270649

    • 1

relate perguntas