主页 / dba / 问题 / 197987
Accepted
deceze
Asked: 2018-02-16 01:51:02 +0800 CST

正确设置的 MySQL 是否有可能返回无效的 UTF-8？

  • 772

我想知道：假设一切都设置正确，这意味着一个带有字符集的列utf8mb4和一个连接到数据库的客户端将连接编码设置为utf8mb4，是否有任何方法可以让所述客户端SELECT获取包含无效 UTF-8 字节序列的数据？有什么方法可以将数据插入utf8mb4实际上不是有效 UTF-8 的列中吗？

换句话说：假设SELECT通过客户端连接设置为 ing 任何非二进制列utf8mb4应该始终返回有效的 UTF-8 字节序列是否合理？

（让我们假设SELECT *没有任何CAST恶作剧之类的简单陈述。）

mysql utf-8

2 个回答

  1. Best Answer

    我不这么认为。但我已经接近：

    mysql> CREATE TABLE invalid (c VARBINARY(22));
Query OK, 0 rows affected (0.02 sec)

mysql> INSERT INTO invalid (c) VALUES (UNHEX('65c3c3c366'));
Query OK, 1 row affected (0.01 sec)

mysql> SELECT HEX(c) FROM invalid;
+------------+
| HEX(c)     |
+------------+
| 65C3C3C366 |
+------------+
1 row in set (0.00 sec)

mysql> ALTER TABLE invalid MODIFY COLUMN c VARCHAR(22) CHARACTER SET utf8mb4;
Query OK, 1 row affected, 1 warning (0.04 sec)
Records: 1  Duplicates: 0  Warnings: 1

mysql> SHOW WARNINGS;
+---------+------+-----------------------------------------------------------------+
| Level   | Code | Message                                                         |
+---------+------+-----------------------------------------------------------------+
| Warning | 1366 | Incorrect string value: '\xC3\xC3\xC3f' for column 'c' at row 1 |
+---------+------+-----------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> SELECT HEX(c) FROM invalid;
+--------+
| HEX(c) |
+--------+
| 65     |
+--------+
1 row in set (0.00 sec)

    通过从 开始BINARY，然后转换为CHAR，我可以将无效数据放入列中。但是，ALTER当我尝试转换它时会发出警告。

    请注意，在最后SELECT，数据被截断了。截断发生在ALTER，而不是SELECT，您的问题希望它发生的地方。这可以通过转换回来验证BINARY：

    mysql> ALTER TABLE invalid MODIFY COLUMN c VARBINARY(22);
Query OK, 1 row affected (0.03 sec)
Records: 1  Duplicates: 0  Warnings: 0

mysql> SELECT HEX(c) FROM invalid;
+--------+
| HEX(c) |
+--------+
| 65     |
+--------+
1 row in set (0.00 sec)

    如果您看到问题发生，请提供详细信息；也许我可以剖析这个问题。

    • 2

  2. 好的，欢迎您帮助我理解问题......在引用的线程中，数据来自 html 表单字段，并且被插入到准备好的字段中。插入后没有数据转换！首先，它发生的原因：Javascript 试图将字符串 U+1F601 解释为“微笑的眼睛”的 unicode 字符的表达式。我必须没有留下任何细节，但错误是“A”的附录，所以 U+1F601A 被解释了。在测试代​​理对的字符的代码部分之后；留下了“\udf98\udc1a”。现在看下面的代码，它创建了一个新的空表，插入了文本区域的值。

    <html>
<head>
    <meta charset="utf-8" />
</head>
<body>
<pre><?php
    ini_set('mbstring.internal_encoding','UTF-8');
    ini_set('date.timezone', 'Europe/Berlin');
    ini_set( 'default_charset', 'UTF-8' );
    $dbConnection = new mysqli('host', 'user', 'password', 'dbname');
    $dbConnection->query("SET NAMES utf8");
    if($_POST) {
        $sql = "CREATE TABLE IF NOT EXISTS `test` (
                    `id` INT(11) NOT NULL AUTO_INCREMENT,
                    `message` VARCHAR(1920) NULL DEFAULT NULL COLLATE 'utf8mb4_unicode_ci',
                    PRIMARY KEY(`id`)
                )
                COLLATE='utf8mb4_unicode_ci' ENGINE=InnoDB;";
        $dbConnection->query($sql);
        $char = $dbConnection->real_escape_string($_POST['hallo']);
        $sql = "SELECT HEX('".$char."')";
        echo $sql."\n";
        $result = $dbConnection->query($sql);
        $row = $result->fetch_row();
        echo $row[0]."\n";

        $sql = "INSERT INTO test VALUES (0, '".$char."');";
        $dbConnection->query($sql);

        $sql = "SELECT message FROM test ORDER BY id DESC LIMIT 1";
        echo $sql."\n";
        $result = $dbConnection->query($sql);
        $row = $result->fetch_row();
        echo $row[0]."\n";

        if(!mb_check_encoding($row[0], "UTF-8")) {
            echo "Php says its not valid\n";
        }
    }
?></pre>
<form method="post" action="test.php" accept-charset="utf-8">
    <textarea id="test" name="hallo" id="test"></textarea>
    <input type="submit">
</form>
<script type="text/javascript">
    var character = "\udf98\udc1a";
    var expression = /\\u([A-Fa-f0-9]{4}?)/gi;
    character = character.replace(expression, function(match, grp) {
        console.log("grp is " + grp);
        return String.fromCharCode(parseInt(grp, 16));
    });

    console.log(unescape(character));
    document.getElementById('test').value = unescape(character);

    var first = "\\u" + String.fromCharCode(parseInt("df98", 16));
    var second = "\\u" + String.fromCharCode(parseInt("dc1a", 16));
    var character = first + second;
    var third = unescape(character);

    console.log(first);
    console.log(second);
    console.log(third);
</script>
</body>
</html>
    • 0

相关问题