Início / dba / Perguntas / 197987
Accepted
deceze
Asked: 2018-02-16 01:51:02 +0800 CST

É possível que um MySQL configurado corretamente retorne UTF-8 inválido?

  • 772

Estou me perguntando: supondo que tudo esteja configurado corretamente, ou seja, uma coluna com charset utf8mb4e um cliente se conectando ao banco de dados definindo a codificação de conexão para utf8mb4, existe alguma maneira pela qual o referido cliente poderia SELECTdados que contêm sequências de bytes UTF-8 inválidas? Existe alguma maneira de inserir dados em uma utf8mb4coluna que não seja de fato UTF-8 válida?

Colocado de outra forma: é razoável supor que SELECTing qualquer coluna não binária em uma conexão de cliente definida como utf8mb4deve sempre retornar sequências de bytes UTF-8 válidas?

(Vamos supor SELECT *declarações simples, sem CASTtravessuras ou algo assim.)

mysql utf-8

2 respostas

  1. Best Answer

    Eu não acho . Mas cheguei perto:

    mysql> CREATE TABLE invalid (c VARBINARY(22));
Query OK, 0 rows affected (0.02 sec)

mysql> INSERT INTO invalid (c) VALUES (UNHEX('65c3c3c366'));
Query OK, 1 row affected (0.01 sec)

mysql> SELECT HEX(c) FROM invalid;
+------------+
| HEX(c)     |
+------------+
| 65C3C3C366 |
+------------+
1 row in set (0.00 sec)

mysql> ALTER TABLE invalid MODIFY COLUMN c VARCHAR(22) CHARACTER SET utf8mb4;
Query OK, 1 row affected, 1 warning (0.04 sec)
Records: 1  Duplicates: 0  Warnings: 1

mysql> SHOW WARNINGS;
+---------+------+-----------------------------------------------------------------+
| Level   | Code | Message                                                         |
+---------+------+-----------------------------------------------------------------+
| Warning | 1366 | Incorrect string value: '\xC3\xC3\xC3f' for column 'c' at row 1 |
+---------+------+-----------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> SELECT HEX(c) FROM invalid;
+--------+
| HEX(c) |
+--------+
| 65     |
+--------+
1 row in set (0.00 sec)

    Começando com BINARY, depois convertendo para CHAR, posso obter dados inválidos na coluna. No entanto, o ALTERdá um aviso quando tento convertê-lo.

    Observe no final SELECT, os dados são truncados. O truncamento aconteceu no ALTER, não no SELECT, onde sua pergunta queria que acontecesse. Isso pode ser verificado convertendo de volta para BINARY:

    mysql> ALTER TABLE invalid MODIFY COLUMN c VARBINARY(22);
Query OK, 1 row affected (0.03 sec)
Records: 1  Duplicates: 0  Warnings: 0

mysql> SELECT HEX(c) FROM invalid;
+--------+
| HEX(c) |
+--------+
| 65     |
+--------+
1 row in set (0.00 sec)

    Se você viu o problema acontecer, forneça detalhes; talvez eu possa dissecar o problema.

    • 2

  2. Ok, fique a vontade para me ajudar a entender o problema... No tópico referido os dados vêm de um campo de formulário html e foram inseridos em um campo preparado. Não houve conversão de dados após a inserção! Antes de mais nada, porque isso acontece: Um Javascript tenta interpretar a string U+1F601 como expressão para o caractere unicode do "rosto radiante com olhos sorridentes". Devo nos deixar sem detalhes, mas o bug era o apêndice de um 'A', então U+1F601A foi interpretado. Após a parte do código que testa o char para um par substituto; "\udf98\udc1a" foi deixado. Agora veja o código abaixo, ele cria uma nova tabela vazia, insere o valor da textarea.

    <html>
<head>
    <meta charset="utf-8" />
</head>
<body>
<pre><?php
    ini_set('mbstring.internal_encoding','UTF-8');
    ini_set('date.timezone', 'Europe/Berlin');
    ini_set( 'default_charset', 'UTF-8' );
    $dbConnection = new mysqli('host', 'user', 'password', 'dbname');
    $dbConnection->query("SET NAMES utf8");
    if($_POST) {
        $sql = "CREATE TABLE IF NOT EXISTS `test` (
                    `id` INT(11) NOT NULL AUTO_INCREMENT,
                    `message` VARCHAR(1920) NULL DEFAULT NULL COLLATE 'utf8mb4_unicode_ci',
                    PRIMARY KEY(`id`)
                )
                COLLATE='utf8mb4_unicode_ci' ENGINE=InnoDB;";
        $dbConnection->query($sql);
        $char = $dbConnection->real_escape_string($_POST['hallo']);
        $sql = "SELECT HEX('".$char."')";
        echo $sql."\n";
        $result = $dbConnection->query($sql);
        $row = $result->fetch_row();
        echo $row[0]."\n";

        $sql = "INSERT INTO test VALUES (0, '".$char."');";
        $dbConnection->query($sql);

        $sql = "SELECT message FROM test ORDER BY id DESC LIMIT 1";
        echo $sql."\n";
        $result = $dbConnection->query($sql);
        $row = $result->fetch_row();
        echo $row[0]."\n";

        if(!mb_check_encoding($row[0], "UTF-8")) {
            echo "Php says its not valid\n";
        }
    }
?></pre>
<form method="post" action="test.php" accept-charset="utf-8">
    <textarea id="test" name="hallo" id="test"></textarea>
    <input type="submit">
</form>
<script type="text/javascript">
    var character = "\udf98\udc1a";
    var expression = /\\u([A-Fa-f0-9]{4}?)/gi;
    character = character.replace(expression, function(match, grp) {
        console.log("grp is " + grp);
        return String.fromCharCode(parseInt(grp, 16));
    });

    console.log(unescape(character));
    document.getElementById('test').value = unescape(character);

    var first = "\\u" + String.fromCharCode(parseInt("df98", 16));
    var second = "\\u" + String.fromCharCode(parseInt("dc1a", 16));
    var character = first + second;
    var third = unescape(character);

    console.log(first);
    console.log(second);
    console.log(third);
</script>
</body>
</html>
    • 0

relate perguntas