AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / coding / Perguntas / 77859577
Accepted
Scheff's Cat
Scheff's Cat
Asked: 2024-01-22 19:37:28 +0800 CST2024-01-22 19:37:28 +0800 CST 2024-01-22 19:37:28 +0800 CST

Literais de string C++20 UTF-8 com sequências octais

  • 772

Ao portar o código legado para C++ 20, substituí literais de string (com o texto codificado em UTF-8 esperado) por literais de string UTF-8 (aquele prefixado com u8).

Assim, tive um problema com sequências octais que usei no passado para codificar sequências UTF-8 byte por byte:

Embora
"\303\274"fosse a codificação adequada de ü,
u8"\303\274"acabou em ü.

Eu investiguei isso mais detalhadamente e encontrei em cppreference.com :

  1. Para cada sequência de escape numérica , dada vcomo o valor inteiro representado pelo número octal ou hexadecimal que compreende a sequência de dígitos na sequência de escape, e T como o tipo de elemento da matriz do literal de string (veja a tabela acima ):

    • Se vnão exceder o intervalo de valores representáveis ​​de T, então a sequência de escape contribui com uma única unidade de código com valorv .

(ênfase minha)

Em minhas próprias palavras: Em literais de string UTF-8, sequências de escape octais ( \ooo) e hexadecimais ( \xXX) são interpretadas como pontos de código Unicode, semelhantes às sequências Unicode ( \uXXXXe \UXXXXXXXX).

Portanto, isso me pareceu razoável: para literais de string UTF-8, as sequências de escape Unicode devem ser preferidas às sequências octais de bytes (que usei no passado).

Por curiosidade (e para efeito de demonstração), fiz um pequeno teste no coliru e fiquei surpreso ao ver que com g++ -std=c++20, as sequências octais ainda são interpretadas como bytes únicos. Tendo em mente a citação acima, cheguei à conclusão:

MSVC parece estar correto e g++ errado.

Fiz um MCVE que executei em meu Visual Studio 2019 local:

#include <iostream>
#include <string_view>

void dump(std::string_view text)
{
  const char digits[] = "0123456789abcdef";
  for (unsigned char c : text) {
    std::cout << ' '
      << digits[c >> 4]
      << digits[c & 0xf];
  }
}

#define DEBUG(...) std::cout << #__VA_ARGS__ << ";\n"; __VA_ARGS__ 

int main()
{
  DEBUG(const char* const text = "\344\270\255");
  DEBUG(dump(text));
  std::cout << '\n';
  DEBUG(const char8_t* const u8text = u8"\344\270\255");
  DEBUG(dump((const char*)u8text));
  std::cout << '\n';
  DEBUG(const char8_t* const u8textU = u8"\u4e2d");
  DEBUG(dump((const char*)u8textU));
  std::cout << '\n';
}

Saída para MSVC :

const char* const text = "\344\270\255";
dump(text);
 e4 b8 ad
const char8_t* const u8text = u8"\344\270\255";
dump((const char*)u8text);
 c3 a4 c2 b8 c2 ad
const char8_t* const u8textU = u8"\u4e2d";
dump((const char*)u8textU);
 e4 b8 ad

(Por favor, observe que o dump do 1º e do 3º literal são idênticos, enquanto o segundo resulta em sequências UTF-8, interpretando cada sequência octal como ponto de código Unicode.)

O mesmo código executado no Compiler Explorer, compilado com g++ (13.2) :

const char* const text = "\344\270\255";
dump(text);
 e4 b8 ad
const char8_t* const u8text = u8"\344\270\255";
dump((const char*)u8text);
 e4 b8 ad
const char8_t* const u8textU = u8"\u4e2d";
dump((const char*)u8textU);
 e4 b8 ad

O mesmo código executado no Compiler Explorer, compilado com clang (17.0.1) :

const char* const text = "\344\270\255";
dump(text);
 e4 b8 ad
const char8_t* const u8text = u8"\344\270\255";
dump((const char*)u8text);
 e4 b8 ad
const char8_t* const u8textU = u8"\u4e2d";
dump((const char*)u8textU);
 e4 b8 ad

Demonstração no Compiler Explorer

Minha conclusão está correta de que o MSVC corrige de acordo com o padrão C++, em oposição a g++ e clang?


O que encontrei por pesquisa na web antes:

  • C++20 com u8, char8_t e std::string
  • Usando prefixos literais de string UTF-8 portável entre C++ 17 e C++ 20

Usar sequências de escape hexadecimais em vez de sequências octais não muda nada: Demo no Compiler Explorer .

Eu preferia as sequências octais um tanto incomuns, pois elas são limitadas a 3 dígitos, nenhum caractere não relacionado pode estendê-las involuntariamente - em oposição às sequências hexadecimais.


Atualizar:

Quando eu estava prestes a registrar um bug para MSVC, percebi que isso já estava feito:
sequências de escape em literais de string unicode são sobrecodificadas (não conforme => bug do compilador)

c++
  • 1 1 respostas
  • 98 Views

1 respostas

  • Voted
  1. Best Answer
    cpplearner
    2024-01-22T19:54:36+08:002024-01-22T19:54:36+08:00

    Em minhas próprias palavras: Em literais de string UTF-8, sequências de escape octais ( \ooo) e hexadecimais ( \xXX) são interpretadas como pontos de código Unicode, semelhantes às sequências Unicode ( \uXXXXe \UXXXXXXXX).

    Não, isso está incorreto. Em UTF-8, uma unidade de código significa uma unidade de 8 bits (= byte) e um ponto de código Unicode é representado por uma sequência de uma ou mais unidades de código. Cada sequência de escape octal corresponde a uma única unidade de código , que é diferente das sequências de escape Unicode, que correspondem a pontos de código .

    Portanto, GCC e Clang estão corretos e MSVC está com defeito.

    • 4

relate perguntas

  • Por que os compiladores perdem a vetorização aqui?

  • Erro de compilação usando CMake com biblioteca [fechada]

  • Erro lançado toda vez que tento executar o premake

  • Como criar um tipo de octeto semelhante a std::byte em C++?

  • Somente operações bit a bit para std::byte em C++ 17?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Vue 3: Erro na criação "Identificador esperado, mas encontrado 'import'" [duplicado]

    • 1 respostas
  • Marko Smith

    Por que esse código Java simples e pequeno roda 30x mais rápido em todas as JVMs Graal, mas não em nenhuma JVM Oracle?

    • 1 respostas
  • Marko Smith

    Qual é o propósito de `enum class` com um tipo subjacente especificado, mas sem enumeradores?

    • 1 respostas
  • Marko Smith

    Como faço para corrigir um erro MODULE_NOT_FOUND para um módulo que não importei manualmente?

    • 6 respostas
  • Marko Smith

    `(expression, lvalue) = rvalue` é uma atribuição válida em C ou C++? Por que alguns compiladores aceitam/rejeitam isso?

    • 3 respostas
  • Marko Smith

    Quando devo usar um std::inplace_vector em vez de um std::vector?

    • 3 respostas
  • Marko Smith

    Um programa vazio que não faz nada em C++ precisa de um heap de 204 KB, mas não em C

    • 1 respostas
  • Marko Smith

    PowerBI atualmente quebrado com BigQuery: problema de driver Simba com atualização do Windows

    • 2 respostas
  • Marko Smith

    AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos

    • 1 respostas
  • Marko Smith

    Estou tentando fazer o jogo pacman usando apenas o módulo Turtle Random e Math

    • 1 respostas
  • Martin Hope
    Aleksandr Dubinsky Por que a correspondência de padrões com o switch no InetAddress falha com 'não cobre todos os valores de entrada possíveis'? 2024-12-23 06:56:21 +0800 CST
  • Martin Hope
    Phillip Borge Por que esse código Java simples e pequeno roda 30x mais rápido em todas as JVMs Graal, mas não em nenhuma JVM Oracle? 2024-12-12 20:46:46 +0800 CST
  • Martin Hope
    Oodini Qual é o propósito de `enum class` com um tipo subjacente especificado, mas sem enumeradores? 2024-12-12 06:27:11 +0800 CST
  • Martin Hope
    sleeptightAnsiC `(expression, lvalue) = rvalue` é uma atribuição válida em C ou C++? Por que alguns compiladores aceitam/rejeitam isso? 2024-11-09 07:18:53 +0800 CST
  • Martin Hope
    The Mad Gamer Quando devo usar um std::inplace_vector em vez de um std::vector? 2024-10-29 23:01:00 +0800 CST
  • Martin Hope
    Chad Feller O ponto e vírgula agora é opcional em condicionais bash com [[ .. ]] na versão 5.2? 2024-10-21 05:50:33 +0800 CST
  • Martin Hope
    Wrench Por que um traço duplo (--) faz com que esta cláusula MariaDB seja avaliada como verdadeira? 2024-05-05 13:37:20 +0800 CST
  • Martin Hope
    Waket Zheng Por que `dict(id=1, **{'id': 2})` às vezes gera `KeyError: 'id'` em vez de um TypeError? 2024-05-04 14:19:19 +0800 CST
  • Martin Hope
    user924 AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos 2024-03-20 03:12:31 +0800 CST
  • Martin Hope
    MarkB Por que o GCC gera código que executa condicionalmente uma implementação SIMD? 2024-02-17 06:17:14 +0800 CST

Hot tag

python javascript c++ c# java typescript sql reactjs html

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve