问题[character-set](dba)

注意：我的问题是由于my.cnf文件中的语法错误，与转换为utf8mb4. 我仍然不知道你是怎么做到的。我发布了一个答案，解释了问题所在。

背景

我正在编写一些代码来访问 INFORMATION_SCHEMA。我想创建一个 MySql 数据源，以便我可以从中创建一个数据集并生成选择/填充/等。来自类型化数据集的功能。

当我在没有数据库的情况下连接到数据库时，它工作正常，我们只是将所有内容从新的 utf8mb3 默认更新为 uft8mb4，因为 .NET 不支持该字符集。当我尝试连接到 INFORMATION_SCHEMA 时，一切看起来都很好，除了当我尝试打开表时，我得到了 .NET 不支持 utfmb3 错误。

改变 character_set_system

我去查看 Workbench 上的 Server 变量，发现除了 character_set_system 之外，所有内容都更新为 utf8mb4。我读过你必须小心更新它，但是，我一举添加并重新启动，只有一秒钟后我才意识到我做了什么character_set_system utfmb4。my.cnf

那时我收到一条错误消息，告诉我运行systemctl status mysqld.service和journalctl -xe. 我剪掉了这些日志的相关部分（域名已更改以保护有罪者）：

journalctl -xe

Jun 06 10:19:21 servername.tld polkitd[640]: Registered Authentication Agent for unix-process:32382:26043948 (system bus name :1.186 [/usr/bin/pkttyagent --notify-fd 5 --fallback]
Jun 06 10:19:21 servername.tld systemd[1]: Starting MySQL Server...
-- Subject: Unit mysqld.service has begun start-up
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit mysqld.service has begun starting up.
Jun 06 10:19:31 servername.tld systemd[1]: mysqld.service: main process exited, code=exited, status=1/FAILURE
Jun 06 10:19:31 servername.tld systemd[1]: Failed to start MySQL Server.
-- Subject: Unit mysqld.service has failed
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit mysqld.service has failed.
--
-- The result is failed.
Jun 06 10:19:31 servername.tld systemd[1]: Unit mysqld.service entered failed state.
Jun 06 10:19:31 servername.tld systemd[1]: mysqld.service failed.
Jun 06 10:19:31 servername.tld polkitd[640]: Unregistered Authentication Agent for unix-process:32382:26043948 (system bus name :1.186, object path /org/freedesktop/PolicyKit1/Aut

systemctl status mysqld.service

Jun 06 10:19:31 ● mysqld.service - MySQL Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
   Active: failed (Result: exit-code) since Mon 2022-06-06 10:19:31 EDT; 7min ago
     Docs: man:mysqld(8)
           http://dev.mysql.com/doc/refman/en/using-systemd.html
  Process: 32415 ExecStart=/usr/sbin/mysqld $MYSQLD_OPTS (code=exited, status=1/FAILURE)
  Process: 32388 ExecStartPre=/usr/bin/mysqld_pre_systemd (code=exited, status=0/SUCCESS)
 Main PID: 32415 (code=exited, status=1/FAILURE)
   Status: "Server startup in progress"

Jun 06 10:19:21 servername.tld systemd[1]: Starting MySQL Server...
Jun 06 10:19:31 servername.tld systemd[1]: mysqld.service: main process exited, code=exited, status=1/FAILURE
Jun 06 10:19:31 servername.tld systemd[1]: Failed to start MySQL Server.
Jun 06 10:19:31 servername.tld systemd[1]: Unit mysqld.service entered failed state.
Jun 06 10:19:31 servername.tld systemd[1]: mysqld.service failed. systemd[1]: mysqld.service failed.

在这一点上，我认为我真的把事情搞砸了，因为我看到人们警告不要在不知道你在做什么的情况下改变这些。显然，我没有。

我回到 my.cnf 并将设置更改为character_set_system utf8mb3我会说“改回来”，但我没有，因为一开始就不是那样的。我刚刚添加了设置。

重新启动后，我收到有关检查错误的相同消息，错误实际上是相同的，因此尝试将其设置为 mb3 并没有什么不同。

无论如何，我已经在 dba/serverfault/stackoverflow/google 上搜索了如何解决这个问题，我看到很多人警告不要这样做，但是，至少，我无法找到真正鲁莽到足以做。

也许我们可以在某个地方备份数据，然后恢复上周的备份，然后将数据放回去，最坏的情况？我只是对后端不够熟悉，不知道我对数据做了什么可怕的事情。

有没有办法解决 postgres 数据库中的问题：

如您所见，有些名称带有重音符号，并且未在数据库中正确显示。我想知道是否有办法在不删除数据库并恢复它的情况下解决这个问题......？

当我执行

SELECT CAST (userfirstname AS bytea) FROM tab WHERE id = 42;`

这是我得到的结果：

               bytea
--------------------------------------
 \x5374efbfbd7068616e696520284d6d6529
(1 ligne)

尝试从 .mysql 文件导入数据库时​​，出现错误：

ERROR 1115 (42000) at line 24: Unknown character set: 'ascii'

发生错误的部分来自使用 ASCII 的列：

`column` varchar(64) CHARACTER SET ascii NOT NULL

我签入/usr/share/mariadb/charsets/，ascii.xml 在那里。ASCII 也列在 Index.xml 中。但是，在查看数据库时，它不是：

MariaDB [db]> show character set;
+---------+------------------+---------------------+--------+
| Charset | Description      | Default collation   | Maxlen |
+---------+------------------+---------------------+--------+
| big5    |                  | big5_chinese_ci     |      2 |
| latin1  |                  | latin1_swedish_ci   |      1 |
| latin2  |                  | latin2_general_ci   |      1 |
| ujis    |                  | ujis_japanese_ci    |      3 |
| sjis    |                  | sjis_japanese_ci    |      2 |
| tis620  |                  | tis620_thai_ci      |      1 |
| euckr   |                  | euckr_korean_ci     |      2 |
| gb2312  |                  | gb2312_chinese_ci   |      2 |
| cp1250  |                  | cp1250_general_ci   |      1 |
| gbk     |                  | gbk_chinese_ci      |      2 |
| utf8    |                  | utf8_general_ci     |      3 |
| ucs2    |                  | ucs2_general_ci     |      2 |
| utf8mb4 | UTF-8 Unicode    | utf8mb4_general_ci  |      4 |
| utf16   | UTF-16 Unicode   | utf16_general_ci    |      4 |
| utf16le | UTF-16LE Unicode | utf16le_general_ci  |      4 |
| utf32   | UTF-32 Unicode   | utf32_general_ci    |      4 |
| binary  |                  | binary              |      1 |
| cp932   |                  | cp932_japanese_ci   |      2 |
| eucjpms |                  | eucjpms_japanese_ci |      3 |
+---------+------------------+---------------------+--------+
19 rows in set (0.000 sec)

在这一点上，我不知道出了什么问题，也不知道如何检测到 ASCII 字符集并使其正常工作。

我正在使用带有 tag的wodby/mariadbMARIADB_TAG=10.5-3.9.5。

我需要创建在 Linux VM 上运行的 Oracle 12.2 实例（Oracle Restart）的副本。新实例需要从 WE8ISO8859P1 到 UTF8 的字符集转换

我首先创建了一个现在启动并运行的 VM 的克隆。

我正在考虑执行以下步骤：

1. expdp FULL=YES 从克隆机器到安全存储位置
2. 使用 DBCA 从克隆中销毁数据库
3. 使用 DBCA 设置 UTF-8 作为字符集在克隆上创建一个新数据库
4. impdp FULL=YES 来自上一个导出的数据泵

我对 impdp FULL=YES 有一些疑问...这会起作用还是会覆盖 SYS 或其他 Oracle 维护的模式上的某些配置，其中一些值仍然引用 WE8ISO8859P1 字符集？

这会起作用还是我应该从 impdp 中排除所有 Oracle 维护的模式？

我尝试将我的 AWS RDS 实例从 Aurora 迁移到 MySQL。我从 Aurora 创建了一个转储文件并将其导入 MySQL 实例。

两个实例具有相同的字符集。

mysql> show variables like '%char%';
+--------------------------+-------------------------------------------+
| Variable_name            | Value                                     |
+--------------------------+-------------------------------------------+
| character_set_client     | utf8mb4                                   |
| character_set_connection | utf8mb4                                   |
| character_set_database   | latin1                                    |
| character_set_filesystem | binary                                    |
| character_set_results    | utf8mb4                                   |
| character_set_server     | latin1                                    |
| character_set_system     | utf8                                      |
| character_sets_dir       | /rdsdbbin/mysql-5.7.26.R1/share/charsets/ |
+--------------------------+-------------------------------------------+

在原始数据库中，希伯来字母显示为黑色菱形（在应用程序端转换为希伯来语）。迁移到新的 MySQL 实例后，我看到的不是黑色菱形问号。

可能是什么问题？

我正在尝试将我的字符集更改db_locale为en_us.364ASCII 字符集。它在 IBM 的知识中心上说 364 是一个有效的字符集：

• https://www.ibm.com/support/knowledgecenter/en/SSGU8G_12.1.0/com.ibm.jdbc_pg.doc/ids_jdbc_270.htm

我能够改变我的DB_LOCALE=en_us.364。但是，更改为后db_locale我en_us.364无法访问dbaccess. 我收到此错误：

-23101 无法加载语言环境类别。

所以我也尝试改变我client_locale的en_us.364。我能够设置环境变量。但是在尝试使用时它仍然给出了同样的错误dbaccess。

然后我环顾四周，GLS/lc11/en_us找不到016c.lco哪个是字符集364/ASCII。但是，我在GLS/lc11/pl_pl文件夹中发现了这个字符集，这意味着支持 ASCII。我想知道从哪里可以获得locale的 the016c.lco或 the 。016c.lcen_us

我尝试了以下步骤将 CHARSET 升级到 utf8mb4 并将其连接到现有的后端服务器。

1. ALTER TABLE users CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

2. 更新数据库连接参数。

"user:pass@tcp(server:3306)/mydbcharset=utf8mb4&collation=utf8mb4_unicode_ci"

这是迁移前的用户表模式。

CREATE TABLE IF NOT EXISTS `users` (
    `id`               BIGINT(20) NOT NULL AUTO_INCREMENT,
    `email`            VARCHAR(255) NOT NULL DEFAULT '',
    `password`         VARCHAR(255) NOT NULL DEFAULT '',
    `country_code`     CHAR(4) NOT NULL DEFAULT '',
    `industry`         VARCHAR(255) NOT NULL DEFAULT '',
    `company_size`     VARCHAR(255) NOT NULL DEFAULT '',
    `company_name`     VARCHAR(255) NOT NULL DEFAULT '',
    `last_name`        VARCHAR(255) NOT NULL DEFAULT '',
    `first_name`       VARCHAR(255) NOT NULL DEFAULT '',
    `newsletter`       TINYINT(1) NOT NULL DEFAULT 0,
    `company_website`  VARCHAR(255) NOT NULL DEFAULT '',
    `job_title`        VARCHAR(255) NOT NULL DEFAULT '',
    `profile_picture`  VARCHAR(255) NOT NULL DEFAULT '',
    `verified`         TINYINT(1) NOT NULL DEFAULT 0,
    `p_updated_time`   INT NOT NULL DEFAULT 0,
    `created`          TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    `updated`          TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
    PRIMARY KEY (`id`),
    UNIQUE KEY (`email`)
)ENGINE = InnoDB DEFAULT CHARSET=UTF8;

到目前为止一切正常。

我担心的是某些 VARCHAR 列的字符限制为 255。在这篇文章中https://mathiasbynens.be/notes/mysql-utf8mb4和此处接受的答案如何在 MySQL 5.5 中轻松地将 utf8 表转换为 utf8mb4说更新 varchar (255) 到 191 是必需的。但是，如果不这样做，我并没有遇到问题，现有数据库有大约 100 条用户记录，并且上述迁移的空运行运行良好。

问题是

1. 从 utf8 移动到 utf8mb4 时是否必须检查和更新列长度，如果不是，可能会出现什么样的问题？
2. 是否也必须更改数据库的CHARSET？为什么不只更改表格的字符集？

--更新--

对于遇到外键违规的人可以使用以下

SET FOREIGN_KEY_CHECKS=0;

-- Insert your other SQL Queries here...
 ALTER TABLE tble_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

SET FOREIGN_KEY_CHECKS=1;

SELECT datname, pg_encoding_to_char(encoding) 
FROM pg_database;

…列出所有数据库，每个数据库都有其编码类型。

但是，我试图找出 PostgreSQL 服务器中可用的所有编码类型。我可以查询所有可用的编码类型吗？

还是第 23.3 章字符集支持中列出了唯一可用的编码类型？

我正在寻找修复 Oracle 中的数据表，最好是通过非特权 SQL，该 SQL 已将 UTF-8 数据插入到 UTF-8 数据库中，错误地使用了 Latin-1 字符集。

该符号β GREEK SMALL LETTER BETA应该已经进入数据库，但是这两个字符β已经进入......因为两个 UTF-8 字符 Î LATIN CAPITAL LETTER I WITH CIRCUMFLEX后跟² SUPERSCRIPT TWO.

此示例代码演示了问题和修复，但它仅适用于VARCHAR列。一旦CLOB使用 a ，转换就会失败：

-- This must return AL32UTF8 for this example to be valid
SELECT VALUE FROM NLS_DATABASE_PARAMETERS WHERE PARAMETER='NLS_CHARACTERSET';

CREATE TABLE EXAMPLE (T VARCHAR2(20));
INSERT INTO EXAMPLE (T) VALUES ('Example β');
SELECT T FROM EXAMPLE; -- Should return 'Example β'
SELECT CONVERT(T, 'WE8ISO8859P1') FROM EXAMPLE;
UPDATE EXAMPLE SET T=CONVERT(T, 'WE8ISO8859P1');
SELECT T FROM EXAMPLE; -- Should return 'Example β', problem fixed
DROP TABLE EXAMPLE;

但是，如果将VARCHAR2(20)其更改为CLOB则不再有效。 CONVERT()返回垃圾字符。我可以TO_CHAR()用来解决这个问题，但最终我得到一个错误，它CLOB超过 4000 个字符，所以TO_CHAR()失败了。

CLOB当使用超过 4000 个字符的列时，有没有办法让上述示例正常工作？

我有一个带有字符集的数据库latin1，我需要将表字符集更改为utf8，但出现错误。当前字符集是：

mysql> show variables like "%character%";
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | latin1                     |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | latin1                     |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+

我要更改字符集的表是：

mysql> describe spool;
+------------+---------------------+------+-----+-------------------+----------------+
| Field      | Type                | Null | Key | Default           | Extra          |
+------------+---------------------+------+-----+-------------------+----------------+
| username   | varchar(250)        | NO   | MUL | NULL              |                |
| xml        | text                | NO   |     | NULL              |                |
| seq        | bigint(20) unsigned | NO   | PRI | NULL              | auto_increment |
| created_at | timestamp           | NO   |     | CURRENT_TIMESTAMP |                |
+------------+---------------------+------+-----+-------------------+----------------+
4 rows in set (0.00 sec)

当我想更改字符集时，我看到以下错误：

mysql> ALTER TABLE spool CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes

这是一个公司运作的数据库，我不想打扰功能，所以我不想改变varchar(250)类型的大小，我想知道是否有解决方案来改变这种编码。

mysql> show create table spool\G;
*************************** 1. row ***************************
       Table: spool
Create Table: CREATE TABLE `spool` (
  `username` varchar(250) NOT NULL,
  `xml` text NOT NULL,
  `seq` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  UNIQUE KEY `seq` (`seq`),
  KEY `i_despool` (`username`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=23490775 DEFAULT CHARSET=utf8