Início / coding / Perguntas / 78875596
Accepted
SeaYJ
Asked: 2024-08-15 22:33:52 +0800 CST

String está corrompida após ser transcodificada

  • 772

Para fins de descrição, forneço uma reprodução mínima do seguinte código:

#include <bits/stdc++.h>
#include <iostream>
#include <regex>
#include <string>
#include <string>
#include <Windows.h>

// GBK 转 UTF-8
std::string GBKToUTF8(const std::string& gbkStr) {
    // 1. 先将 GBK 转换为宽字符（UTF-16）// Convert GBK to wide characters first (UTF-16)
    int len = MultiByteToWideChar(CP_ACP, 0, gbkStr.c_str(), -1, nullptr, 0);
    std::wstring wstr(len, 0);
    MultiByteToWideChar(CP_ACP, 0, gbkStr.c_str(), -1, &wstr[0], len);

    // 2. 将宽字符（UTF-16）转换为 UTF-8 // Convert wide characters (UTF-16) to UTF-8
    len = WideCharToMultiByte(CP_UTF8, 0, wstr.c_str(), -1, nullptr, 0, nullptr, nullptr);
    std::string utf8Str(len, 0);
    WideCharToMultiByte(CP_UTF8, 0, wstr.c_str(), -1, &utf8Str[0], len, nullptr, nullptr);

    return utf8Str;
}

int main() {
    // 示例身份证号，长度为18 // Example ID number, length 18
    std::string id_number = GBKToUTF8("610702199404261983");  
    // 检查字符串长度 // Check string length
    std::cout << "Length before: " << id_number.length() << "\n"
        << id_number << std::endl;

    // 正则表达式 // Regular expression
    const std::regex id_number_pattern18("^([1-6][1-9]|50)\\d{4}(18|19|20)\\d{2}((0[1-9])|10|11|12)(([0-2][1-9])|10|20|30|31)\\d{3}[0-9Xx]$");

    // 进行匹配 // Make a match
    if (std::regex_match(id_number, id_number_pattern18)) {
        std::cout << "Match successful!" << std::endl;
    } else {
        std::cout << "Match failed!" << std::endl;
    }

    return 0;
}

O problema agora é que quando a id_numberstring é transcodificada em UTF-8 , o comprimento muda de 18 para 19 . Além disso, o regex não corresponde mais à string corretamente (ele pode ser correspondido corretamente se não for transcodificado).

Suspeito que a string foi transcodificada e alguns caracteres invisíveis foram adicionados, mas não sei como consertar isso.

Aqui estão algumas capturas de tela da depuração do VS2022 (ISO C++ 17) para referência (é claro, as capturas de tela não são do código de reprodução mínimo, mas devem ser bem compreendidas):

Antes da transcodificação
imagem

Após a transcodificação
imagem

Não sei como fazer isso no momento ou gostaria de fornecer uma solução e uma descrição de como o problema surge.

c++

1 respostas

  1. Best Answer

    O problema é que você está solicitando MultiByteToWideChar()a WideCharToMultiByte()inclusão de espaço para um terminador NUL explícito no comprimento que eles retornam:

    [in] cbMultiByte

    Tamanho, em bytes, da string indicada pelo parâmetro lpMultiByteStr. Alternativamente, este parâmetro pode ser definido como -1 se a string for terminada em nulo. Observe que, se cbMultiByte for 0, a função falhará.

    Se esse parâmetro for -1, a função processará toda a sequência de entrada, incluindo o caractere nulo de terminação. Portanto, a sequência Unicode resultante possui um caractere nulo de terminação e o comprimento retornado pela função inclui esse caractere.

    Você está incluindo esse espaço extra ao alocar memória para std::wstringe std::string. Mas, diferentemente das strings C, as strings C++ não são terminadas em nulo. Eles podem conter caracteres NUL incorporados que ESTÃO incluídos em seus sizee têm um terminador NUL implícito que NÃO está incluído em seus size.

    Portanto, você não deve tratar as strings C++ como terminadas em nulo. Não solicite à API espaço para um terminador NUL. Use os tamanhos reais das strings, por exemplo:

    std::string GBKToUTF8(const std::string& gbkStr) {
    // 1. 先将 GBK 转换为宽字符（UTF-16）
    int len = MultiByteToWideChar(CP_ACP, 0, gbkStr.c_str(), gbkStr.size(), nullptr, 0);
                                                          // ^^^^^^^^^^^^^
    std::wstring wstr(len, 0);
    MultiByteToWideChar(CP_ACP, 0, gbkStr.c_str(), gbkStr.size(), &wstr[0], len);
                                                // ^^^^^^^^^^^^^

    // 2. 将宽字符（UTF-16）转换为 UTF-8
    len = WideCharToMultiByte(CP_UTF8, 0, wstr.c_str(), wstr.size(), nullptr, 0, nullptr, nullptr);
                                                     // ^^^^^^^^^^^
    std::string utf8Str(len, 0);
    WideCharToMultiByte(CP_UTF8, 0, wstr.c_str(), wstr.size(), &utf8Str[0], len, nullptr, nullptr);
                                               // ^^^^^^^^^^^

    return utf8Str;
}
    • 7

relate perguntas