Perguntas[character-set](dba)

NOTA: Meu problema foi devido a um erro de sintaxe no my.cnfarquivo, não tem nada a ver com erros na conversão para utf8mb4. Eu ainda não tenho nenhuma idéia de como você faz isso. Eu postei uma resposta explicando qual era o problema.

Fundo

Eu estava escrevendo algum código para acessar o INFORMATION_SCHEMA. Eu queria fazer uma fonte de dados MySql para que eu pudesse criar um conjunto de dados a partir dele e gerar o select/fill/etc. funcionalidade de um DataSet tipado.

Quando me conectei ao banco de dados sem um banco de dados funcionou bem, apenas atualizamos tudo para uft8mb4 do novo padrão utf8mb3, porque .NET não suporta esse conjunto de caracteres. Quando tentei me conectar ao INFORMATION_SCHEMA, tudo parecia bem, exceto quando tentei abrir as tabelas, recebi o erro .NET não suporta utfmb3.

Alterando character_set_system

Fui olhar as variáveis ​​do servidor no Workbench e notei que tudo foi atualizado para utf8mb4, exceto o character_set_system. Eu tinha lido que você tem que ter cuidado ao atualizar isso, mas bem, eu adicionei e reiniciei character_set_system utfmb4de my.cnfuma só vez, e apenas um segundo depois percebi o que tinha feito.

Nesse ponto, recebo uma mensagem de erro me dizendo para executar systemctl status mysqld.servicee journalctl -xe. Eu cortei o que parecia ser as partes relevantes desses logs (os nomes de domínio foram alterados para proteger os culpados):

journalctl -xe

Jun 06 10:19:21 servername.tld polkitd[640]: Registered Authentication Agent for unix-process:32382:26043948 (system bus name :1.186 [/usr/bin/pkttyagent --notify-fd 5 --fallback]
Jun 06 10:19:21 servername.tld systemd[1]: Starting MySQL Server...
-- Subject: Unit mysqld.service has begun start-up
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit mysqld.service has begun starting up.
Jun 06 10:19:31 servername.tld systemd[1]: mysqld.service: main process exited, code=exited, status=1/FAILURE
Jun 06 10:19:31 servername.tld systemd[1]: Failed to start MySQL Server.
-- Subject: Unit mysqld.service has failed
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit mysqld.service has failed.
--
-- The result is failed.
Jun 06 10:19:31 servername.tld systemd[1]: Unit mysqld.service entered failed state.
Jun 06 10:19:31 servername.tld systemd[1]: mysqld.service failed.
Jun 06 10:19:31 servername.tld polkitd[640]: Unregistered Authentication Agent for unix-process:32382:26043948 (system bus name :1.186, object path /org/freedesktop/PolicyKit1/Aut

systemctl status mysqld.service

Jun 06 10:19:31 ● mysqld.service - MySQL Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
   Active: failed (Result: exit-code) since Mon 2022-06-06 10:19:31 EDT; 7min ago
     Docs: man:mysqld(8)
           http://dev.mysql.com/doc/refman/en/using-systemd.html
  Process: 32415 ExecStart=/usr/sbin/mysqld $MYSQLD_OPTS (code=exited, status=1/FAILURE)
  Process: 32388 ExecStartPre=/usr/bin/mysqld_pre_systemd (code=exited, status=0/SUCCESS)
 Main PID: 32415 (code=exited, status=1/FAILURE)
   Status: "Server startup in progress"

Jun 06 10:19:21 servername.tld systemd[1]: Starting MySQL Server...
Jun 06 10:19:31 servername.tld systemd[1]: mysqld.service: main process exited, code=exited, status=1/FAILURE
Jun 06 10:19:31 servername.tld systemd[1]: Failed to start MySQL Server.
Jun 06 10:19:31 servername.tld systemd[1]: Unit mysqld.service entered failed state.
Jun 06 10:19:31 servername.tld systemd[1]: mysqld.service failed. systemd[1]: mysqld.service failed.

Nesse ponto eu percebi que realmente quebrei as coisas, porque eu tinha visto pessoas alertando para não mudar essas coisas sem saber o que você estava fazendo. O que, claramente, eu não fiz.

Voltei para my.cnf e mudei a configuração para character_set_system utf8mb3eu diria 'mudou de volta', mas não o fiz, já que não era assim para começar. Acabei de adicionar a configuração.

Ao reiniciar, recebi a mesma mensagem sobre verificar os erros, os erros são praticamente idênticos, então tentar configurá-lo para mb3 não fez diferença.

De qualquer forma, eu pesquisei dba/serverfault/stackoverflow/google para saber como consertar isso, e vi muitas pessoas alertando para não fazer isso, mas, pelo menos, não consegui encontrar alguém que realmente tenha sido imprudente o suficiente para faça isso.

Talvez possamos fazer backup dos dados em algum lugar e depois restaurar um backup da semana passada e, em seguida, colocar os dados de volta, na pior das hipóteses? Só não estou familiarizado o suficiente com o back-end para saber que horrores fiz aos dados.

Existe uma maneira de corrigir o problema � no banco de dados postgres:

Como você pode ver, existem nomes com acentos e não são exibidos corretamente no banco de dados. Gostaria de saber se existe uma maneira de corrigir isso sem descartar o banco de dados e restaurá-lo... ?

quando eu executar

SELECT CAST (userfirstname AS bytea) FROM tab WHERE id = 42;`

este é o resultado que recebo:

               bytea
--------------------------------------
 \x5374efbfbd7068616e696520284d6d6529
(1 ligne)

Ao tentar importar um banco de dados de um arquivo .mysql, recebo um erro:

ERROR 1115 (42000) at line 24: Unknown character set: 'ascii'

A parte em que o erro ocorre é das colunas usando ASCII:

`column` varchar(64) CHARACTER SET ascii NOT NULL

Eu verifiquei em /usr/share/mariadb/charsets/ e o ascii.xml está lá. O ASCII também está listado no Index.xml. No entanto, ao olhar para o banco de dados, não é:

MariaDB [db]> show character set;
+---------+------------------+---------------------+--------+
| Charset | Description      | Default collation   | Maxlen |
+---------+------------------+---------------------+--------+
| big5    |                  | big5_chinese_ci     |      2 |
| latin1  |                  | latin1_swedish_ci   |      1 |
| latin2  |                  | latin2_general_ci   |      1 |
| ujis    |                  | ujis_japanese_ci    |      3 |
| sjis    |                  | sjis_japanese_ci    |      2 |
| tis620  |                  | tis620_thai_ci      |      1 |
| euckr   |                  | euckr_korean_ci     |      2 |
| gb2312  |                  | gb2312_chinese_ci   |      2 |
| cp1250  |                  | cp1250_general_ci   |      1 |
| gbk     |                  | gbk_chinese_ci      |      2 |
| utf8    |                  | utf8_general_ci     |      3 |
| ucs2    |                  | ucs2_general_ci     |      2 |
| utf8mb4 | UTF-8 Unicode    | utf8mb4_general_ci  |      4 |
| utf16   | UTF-16 Unicode   | utf16_general_ci    |      4 |
| utf16le | UTF-16LE Unicode | utf16le_general_ci  |      4 |
| utf32   | UTF-32 Unicode   | utf32_general_ci    |      4 |
| binary  |                  | binary              |      1 |
| cp932   |                  | cp932_japanese_ci   |      2 |
| eucjpms |                  | eucjpms_japanese_ci |      3 |
+---------+------------------+---------------------+--------+
19 rows in set (0.000 sec)

Neste ponto, não sei o que está errado ou como obter o conjunto de caracteres ASCII detectado e funcionando.

Estou usando wodby/mariadb com tag MARIADB_TAG=10.5-3.9.5.

Preciso criar uma cópia de uma instância Oracle 12.2 (Oracle Restart) em execução em uma VM Linux. A nova instância precisa de uma conversão de charset de WE8ISO8859P1 para UTF8

Comecei criando um clone da VM que agora está funcionando.

Estava pensando em seguir estes passos:

1. expdp FULL=YES da máquina clonada para um local de armazenamento seguro
2. destruir o banco de dados do clone usando DBCA
3. crie um novo banco de dados no clone usando DBCA configurando UTF-8 como charset
4. impdp FULL=YES da datapump exportada anterior

Tenho algumas dúvidas sobre o impdp FULL=YES... isso funcionará ou substituirá alguma configuração no SYS ou outros esquemas mantidos pelo Oracle com alguns valores que ainda se referem ao charset WE8ISO8859P1?

Isso funcionará ou devo excluir todos os esquemas mantidos pelo Oracle do impdp?

Tentei migrar minha instância do AWS RDS do Aurora para o MySQL. Criei um arquivo de despejo do Aurora e o importei para a instância do MySQL.

Ambas as instâncias têm o mesmo conjunto de caracteres.

mysql> show variables like '%char%';
+--------------------------+-------------------------------------------+
| Variable_name            | Value                                     |
+--------------------------+-------------------------------------------+
| character_set_client     | utf8mb4                                   |
| character_set_connection | utf8mb4                                   |
| character_set_database   | latin1                                    |
| character_set_filesystem | binary                                    |
| character_set_results    | utf8mb4                                   |
| character_set_server     | latin1                                    |
| character_set_system     | utf8                                      |
| character_sets_dir       | /rdsdbbin/mysql-5.7.26.R1/share/charsets/ |
+--------------------------+-------------------------------------------+

No banco de dados original, as letras hebraicas aparecem como losangos negros (convertidos para hebraico no lado do aplicativo). Após a migração para a nova instância do MySQL, em vez de diamantes negros, vejo pontos de interrogação.

Qual poderia ser o problema?

Estou tentando alterar meu db_localepara en_us.364que é um conjunto de caracteres ASCII. Diz no Centro de Conhecimento da IBM que 364 é um conjunto de caracteres válido:

• https://www.ibm.com/support/knowledgecenter/en/SSGU8G_12.1.0/com.ibm.jdbc_pg.doc/ids_jdbc_270.htm

Eu sou capaz de mudar o meu DB_LOCALE=en_us.364. No entanto, depois de alterar db_localepara en_us.364não consigo acessar dbaccess. Eu recebo este erro:

-23101 Não é possível carregar categorias de localidade.

Então eu também tentei mudar o meu client_localepara en_us.364também. Consegui definir a variável de ambiente. No entanto, ainda deu o mesmo erro ao tentar usar dbaccess.

Eu então olhei em volta GLS/lc11/en_use não consegui encontrar 016c.lcoqual é o conjunto de caracteres 364/ASCII. No entanto, encontrei esse conjunto de caracteres na GLS/lc11/pl_plpasta, o que significa que o ASCII é suportado. Eu queria saber onde eu poderia obter o 016c.lcoou o 016c.lcpara a localidade en_us.

Eu tentei as seguintes etapas para atualizar o CHARSET para utf8mb4 e conectá-lo ao servidor de back-end existente.

1. usuários ALTER TABLE CONVERTER PARA CONJUNTO DE CARACTERES utf8mb4 COLLATE utf8mb4_unicode_ci;

2. atualize os parâmetros de conexão do banco de dados.

"user:pass@tcp(server:3306)/mydbcharset=utf8mb4&collation=utf8mb4_unicode_ci"

Este é o esquema da tabela de usuários antes da migração.

CREATE TABLE IF NOT EXISTS `users` (
    `id`               BIGINT(20) NOT NULL AUTO_INCREMENT,
    `email`            VARCHAR(255) NOT NULL DEFAULT '',
    `password`         VARCHAR(255) NOT NULL DEFAULT '',
    `country_code`     CHAR(4) NOT NULL DEFAULT '',
    `industry`         VARCHAR(255) NOT NULL DEFAULT '',
    `company_size`     VARCHAR(255) NOT NULL DEFAULT '',
    `company_name`     VARCHAR(255) NOT NULL DEFAULT '',
    `last_name`        VARCHAR(255) NOT NULL DEFAULT '',
    `first_name`       VARCHAR(255) NOT NULL DEFAULT '',
    `newsletter`       TINYINT(1) NOT NULL DEFAULT 0,
    `company_website`  VARCHAR(255) NOT NULL DEFAULT '',
    `job_title`        VARCHAR(255) NOT NULL DEFAULT '',
    `profile_picture`  VARCHAR(255) NOT NULL DEFAULT '',
    `verified`         TINYINT(1) NOT NULL DEFAULT 0,
    `p_updated_time`   INT NOT NULL DEFAULT 0,
    `created`          TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    `updated`          TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
    PRIMARY KEY (`id`),
    UNIQUE KEY (`email`)
)ENGINE = InnoDB DEFAULT CHARSET=UTF8;

Tudo funciona bem até agora.

Minha preocupação é que algumas das colunas VARCHAR tenham restrição de caracteres como 255. Neste artigo https://mathiasbynens.be/notes/mysql-utf8mb4 e a resposta aceita aqui Como converter facilmente tabelas utf8 para utf8mb4 no MySQL 5.5 diz atualizar varchar (255) a 191 é necessário. No entanto, não encontrei problemas sem fazer isso, o banco de dados existente tem cerca de 100 registros de usuário e uma simulação da migração acima funcionou perfeitamente.

Pergunta são

1. É obrigatório verificar e atualizar os comprimentos das colunas ao passar de utf8 para utf8mb4, caso contrário, que tipo de problemas podem surgir?
2. Também é obrigatório alterar o CHARSET da base de dados? Por que não mudar apenas o charset da tabela?

-- ATUALIZAÇÃO --

Para alguém que se depara com violações de chave estrangeira pode usar o abaixo

SET FOREIGN_KEY_CHECKS=0;

-- Insert your other SQL Queries here...
 ALTER TABLE tble_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

SET FOREIGN_KEY_CHECKS=1;

SELECT datname, pg_encoding_to_char(encoding) 
FROM pg_database;

…lista todos os bancos de dados, cada um com seu tipo de codificação.

No entanto, estou tentando descobrir quais são todos os tipos de codificação disponíveis no servidor PostgreSQL. Posso consultar todos os tipos de codificação disponíveis?

Ou os únicos tipos de codificação disponíveis estão listados no Capítulo 23.3 Suporte ao conjunto de caracteres ?

Estou procurando reparar uma tabela de dados no Oracle, de preferência via SQL sem privilégios, que teve dados UTF-8 inseridos em um banco de dados UTF-8, usando o conjunto de caracteres Latin-1 por engano.

O símbolo β GREEK SMALL LETTER BETAdeveria ter entrado no banco de dados, mas em vez disso os dois caracteres βforam... como os dois caracteres UTF-8 Î LATIN CAPITAL LETTER I WITH CIRCUMFLEXseguidos por ² SUPERSCRIPT TWO.

Este código de exemplo demonstra o problema e a correção, mas só funciona com VARCHARcolunas. Assim que a CLOBé usado, a conversão falha:

-- This must return AL32UTF8 for this example to be valid
SELECT VALUE FROM NLS_DATABASE_PARAMETERS WHERE PARAMETER='NLS_CHARACTERSET';

CREATE TABLE EXAMPLE (T VARCHAR2(20));
INSERT INTO EXAMPLE (T) VALUES ('Example β');
SELECT T FROM EXAMPLE; -- Should return 'Example β'
SELECT CONVERT(T, 'WE8ISO8859P1') FROM EXAMPLE;
UPDATE EXAMPLE SET T=CONVERT(T, 'WE8ISO8859P1');
SELECT T FROM EXAMPLE; -- Should return 'Example β', problem fixed
DROP TABLE EXAMPLE;

No entanto, se o VARCHAR2(20)for alterado para CLOB, isso não funcionará mais. CONVERT()retorna caracteres de lixo. Eu posso usar TO_CHAR()para contornar o problema, mas eventualmente recebo um erro que CLOBtem mais de 4000 caracteres, então TO_CHAR()falha.

Existe uma maneira de fazer o exemplo acima funcionar, ao usar uma CLOBcoluna com mais de 4000 caracteres?

Eu tenho um banco de dados com latin1conjunto de caracteres, preciso alterar o conjunto de caracteres das tabelas para utf8, mas recebo um erro. o conjunto de caracteres atual é:

mysql> show variables like "%character%";
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | latin1                     |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | latin1                     |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+

a tabela que quero alterar o conjunto de caracteres é:

mysql> describe spool;
+------------+---------------------+------+-----+-------------------+----------------+
| Field      | Type                | Null | Key | Default           | Extra          |
+------------+---------------------+------+-----+-------------------+----------------+
| username   | varchar(250)        | NO   | MUL | NULL              |                |
| xml        | text                | NO   |     | NULL              |                |
| seq        | bigint(20) unsigned | NO   | PRI | NULL              | auto_increment |
| created_at | timestamp           | NO   |     | CURRENT_TIMESTAMP |                |
+------------+---------------------+------+-----+-------------------+----------------+
4 rows in set (0.00 sec)

quando quero alterar o conjunto de caracteres, vejo o erro abaixo:

mysql> ALTER TABLE spool CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes

É um banco de dados em funcionamento da empresa e não quero atrapalhar a funcionalidade, portanto não quero alterar o tamanho do varchar(250)tipo, gostaria de saber se existe uma solução para alterar essa codificação.

mysql> show create table spool\G;
*************************** 1. row ***************************
       Table: spool
Create Table: CREATE TABLE `spool` (
  `username` varchar(250) NOT NULL,
  `xml` text NOT NULL,
  `seq` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  UNIQUE KEY `seq` (`seq`),
  KEY `i_despool` (`username`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=23490775 DEFAULT CHARSET=utf8