grepé a ferramenta errada para o trabalho.

Você vê o � U+FFFD REPLACEMENT CHARACTERnão porque está literalmente no conteúdo do arquivo, mas porque você olhou para um arquivo binário com uma ferramenta que deveria lidar apenas com entrada baseada em texto. A maneira padrão de lidar com entradas inválidas (ou seja, dados binários aleatórios) é substituir tudo o que não é válido na localidade atual (provavelmente UTF-8) por U+FFFD antes de chegar à tela.

Isso significa que é muito provável que um literal \xEF\xBF\xBD(a sequência de bytes UTF-8 para o caractere U+FFFD) nunca ocorra no arquivo. grepestá completamente certo em lhe dizer, não há nenhum.

Uma maneira de detectar se um arquivo contém algum binário desconhecido é com o file(1)comando:

$ head -c 100 /dev/urandom > rubbish.bin
$ file rubbish.bin
rubbish.bin: data

Para qualquer tipo de arquivo desconhecido, ele simplesmente dirá data. Tentar

$ file out.txt | grep '^out.txt: data$'

para verificar se o arquivo realmente contém algum binário arbitrário e, portanto, provavelmente lixo.

Se você quiser ter certeza de que out.txté apenas um arquivo de texto codificado em UTF-8, você pode usar alternativamente iconv:

$ iconv -f utf-8 -t utf-16 out.txt >/dev/null

TL;DR:

grep -axv '.*' out.txt 

resposta longa

Ambas as respostas presentes são extremamente enganosas e basicamente erradas.

Para testar, pegue esses dois arquivos (de um desenvolvedor muito conceituado: Markus Kuhn ):

$ wget https://www.cl.cam.ac.uk/~mgk25/ucs/examples/UTF-8-demo.txt
$ wget https://www.cl.cam.ac.uk/~mgk25/ucs/examples/UTF-8-test.txt

Demonstração

O primeiro UTF-8-demo.txté um arquivo projetado para mostrar quão bem o UTF-8 é capaz de apresentar muitos idiomas, matemática, braille e muitos outros tipos úteis de caracteres. Dê uma olhada com um editor de texto (que entenda utf-8) e você verá muitos exemplos e nenhum arquivo � .

O teste que uma resposta propõe: limitar o intervalo de caracteres a \x00-\x7Frejeitará quase tudo dentro deste arquivo.
Isso é muito errado e não removerá nenhum �, pois não há nenhum nesse arquivo .

Usar o teste recomendado nessa resposta removerá 72.5 %o arquivo:

$ grep -oP "[^\x00-\x7F]" UTF-8-demo.txt | tr -d '\n' | wc -c
10192
$ cat UTF-8-demo.txt | wc -c
14058

Isso é (para fins mais práticos) o arquivo inteiro. Um arquivo muito bem desenhado para mostrar caracteres perfeitamente válidos.

Teste

O segundo arquivo é projetado para testar vários casos de fronteira para confirmar que os leitores utf-8 estão fazendo um bom trabalho. Ele contém muitos caracteres que farão com que um '�' seja exibido. Mas a outra recomendação de resposta (a selecionada) para usar filefalha grosseiramente com este arquivo. Apenas removendo um byte zero ( \0) (que tecnicamente é ASCII válido) e um \x7fbyte (DEL - delete) (que também é claramente um caractere ASCII) tornará todo o arquivo válido para o filecomando:

$ cat UTF-8-test.txt | tr -d '\0\177' > a.txt
$ file a.txt 
a.txt: Non-ISO extended-ASCII text, with LF, NEL line terminators

Não só filefalha em detectar muitos caracteres incorretos, mas também falha em detectar e relatar que é um arquivo codificado em UTF-8.

E sim, fileé capaz de detectar e relatar texto codificado em UTF-8:

$ echo "ééakjfhhjhfakjfhfhaéá" | file -
/dev/stdin: UTF-8 Unicode text

Além disso, filenão relata como ASCII a maioria dos caracteres de controle no intervalo de 1 a 31. Ele ( file) relata alguns intervalos como data:

$ printf '%b' "$(printf '\\U%x' {1..6})" | file -
/dev/stdin: data

Outros como ASCII text:

$ printf '%b' "$(printf '\\U%x' 7 {9..12})" | file -
/dev/stdin: ASCII text

Como o intervalo de caracteres imprimíveis (com novas linhas):

$ printf '%b' "$(printf '\\U%x' {32..126} 10)" | file -
/dev/stdin: ASCII text

Mas alguns intervalos podem causar resultados estranhos:

$ printf '%b' "$(printf '\\U%x' {14..26})" | file -
/dev/stdin: Atari MSA archive data, 4113 sectors per track, starting track: 5141, ending track: 5655

O programa filenão é uma ferramenta para detectar texto, mas para detectar números mágicos em programas ou arquivos executáveis.

Os intervalos filedetectados e o tipo correspondente relatado que encontrei foram:

• Valores de um byte, principalmente ascii:

  {1..6} {14..26} {28..31} 127   :data
  {128..132} {134..159}          :Non-ISO extended-ASCII text
  133                            :ASCII text, with LF, NEL line terminators
  27                             :ASCII text, with escape sequences
  13                             :ASCII text, with CR, LF line terminators
  8                              :ASCII text, with overstriking
  7 {9..12} {32..126}            :ASCII text
  {160..255}                     :ISO-8859 text
  

• Intervalos codificados UTF-8:

  {1..6} {14..26} {28..31} 127   :data
  27                             :ASCII text, with escape sequences
  13                             :ASCII text, with CR, LF line terminators
  8                              :ASCII text, with overstriking
  7 {9..12} {32..126}            :ASCII text
  {128..132} {134..159}          :UTF-8 Unicode text
  133                            :UTF-8 Unicode text, with LF, NEL line terminators
  {160..255}                     :UTF-8 Unicode text
  {256..5120}                    :UTF-8 Unicode text
  

Uma solução possível encontra-se abaixo.

Resposta anterior.

O valor Unicode para o caractere que você está postando é:

$ printf '%x\n' "'�"
fffd

Sim, esse é um caractere Unicode 'REPLACEMENT CHARACTER' (U+FFFD) . Esse é um caractere usado para substituir qualquer caractere Unicode inválido encontrado no texto. É um "auxílio visual", não um personagem real. Para localizar e listar cada linha completa que contém caracteres UNICODE inválidos , use:

grep -axv '.*' out.txt 

mas se você quiser apenas detectar se algum caractere é inválido, use:

grep -qaxv '.*' out.txt; echo $?

Se o resultado for1 que o arquivo está limpo, caso contrário será zero 0.

Se o que você estava perguntando era: como encontrar o� personagem, então, use isto:

➤ a='Basically, if the file "out.txt" contains "�" anywhere in the file I'
➤ echo "$a" | grep -oP $(printf %b \\Ufffd)
�

Ou se o seu sistema processar corretamente o texto UTF-8, simplesmente:

➤ echo "$a" | grep -oP '�'
�

Esta resposta muito inicial foi para o post original que era:

Como grep para unicode � em um script bash

if grep -q "�" out.txt
    then
        echo "working"
    else
        cat out.txt  fi

Basicamente, se o arquivo "out.txt" contiver "�" em qualquer lugar do arquivo, eu gostaria que ele ecoasse "working" E se o arquivo "out.txt" NÃO contiver "�" em qualquer lugar do arquivo, eu gostaria para cat out.txt

Tentar

grep -oP "[^\x00-\x7F]"

com a if .. thenseguinte declaração:

if grep -oP "[^\x00-\x7F]" file.txt; then
    echo "grep found something ..."
else
    echo "Nothing found!"
fi

Explicação?:

• -P, --perl-regexp: PATTERN é uma expressão regular Perl
• -o, --only-matching: mostra apenas a parte de uma linha correspondente a PATTERN
• [^\x00-\x7F]é um regex para corresponder a um único caractere não ASCII.
• [[:ascii:]]- corresponde a um único caractere ASCII
• [^[:ascii:]]- corresponde a um único caractere não ASCII

dentrobash

LC_COLLATE=C grep -o '[^ -~]' file