UTF-8 vs UTF-8 com BOM

UTF-8 é UTF-8 independentemente da existência ou não de um BOM.

Salvar um arquivo com um BOM (marca de ordem de byte) não é realmente necessário para UTF-8.

O fato de o Bloco de Notas permitir salvar arquivos em “UTF-8” ou “UTF-8 com BOM” parece ser uma opção que existe para permitir flexibilidade nos casos em que é necessário um BOM (byte order mark). Mas, em geral, apenas salvar o arquivo sem um BOM - ou seja, UTF-8 simples - é realmente a melhor maneira de lidar com arquivos de texto com conteúdo UTF-8.

Conforme explicado na página da Wikipedia para marca de ordem de byte :

“O uso do BOM é opcional. Sua presença interfere no uso de UTF-8 por software que não espera bytes não ASCII no início de um arquivo, mas que, de outra forma, poderia lidar com o fluxo de texto.”

E o artigo se aprofunda ao afirmar o seguinte ; o destaque em negrito é meu:

“A representação UTF-8 do BOM é a sequência de bytes (hexadecimal) 0xEF,0xBB,0xBF.

O padrão Unicode permite o BOM em UTF-8, mas não exige ou recomenda seu uso. A ordem de byte não tem significado em UTF-8, portanto, seu único uso em UTF-8 é sinalizar no início que o fluxo de texto está codificado em UTF-8 ou que foi convertido para UTF-8 de um fluxo que continha um lista técnica opcional. O padrão também não recomenda a remoção de um BOM quando ele está lá, para que o ciclo de ida e volta entre as codificações não perca informações e para que o código que depende dele continue funcionando. O IETF recomenda que, se um protocolo (a) sempre usar UTF-8 ou (b) tiver alguma outra maneira de indicar qual codificação está sendo usada, "DEVE proibir o uso de U+FEFF como assinatura".

Não usar um BOM permite que o texto seja compatível com versões anteriores de alguns softwares que não reconhecem Unicode. Os exemplos incluem linguagens de programação que permitem bytes não ASCII em strings literais, mas não no início do arquivo.”

Quanto ao motivo pelo qual a Microsoft se preocupa em salvar UTF-8 com um BOM no bloco de notas? Isso explica bem; parece ser um requisito específico das ferramentas de programação da Microsoft e não de qualquer outra ferramenta que não seja da Microsoft:

“Os compiladores e interpretadores da Microsoft e muitos softwares no Microsoft Windows, como o Notepad, tratam o BOM como um número mágico obrigatório, em vez de usar heurística. Essas ferramentas adicionam um BOM ao salvar texto como UTF-8 e não podem interpretar UTF-8, a menos que o BOM esteja presente ou o arquivo contenha apenas ASCII. O Google Docs também adiciona um BOM ao converter um documento em um arquivo de texto simples para download.”

Portanto, a menos que você precise explicitamente salvar um arquivo UTF-8 com um BOM a ser definido para um arquivo, não se preocupe com essa opção de salvamento.

A outra resposta está errada. É alguma coisa política. ANSI é o formato de texto padrão no Windows e existe há 36 anos.

No Windows, os arquivos são considerados ANSI. Portanto, você sempre usa um BOM. Programas Unix que não podem lidar com BOMs não são compatíveis com Unicode.

Eu escrevo editores de texto. Se o usuário não especificar, é ANSI - SEMPRE.

Presumir que você obterá Unicode sem BOM significa que você deve chamar https://docs.microsoft.com/en-us/windows/win32/api/winbase/nf-winbase-istextunicode para adivinhar o formato. Dificilmente programação adequada.