Início / user-253130

Isaac Sutherland's questions

Martin Hope
Isaac Sutherland
Asked: 2023-10-04 00:11:39 +0800 CST
  • 5

Eu executo um backup dinâmico de um banco de dados MySQL de produção usando um instantâneo LVM e, em seguida, tento restaurar esse backup em uma máquina de desenvolvimento. No entanto, o devbanco de dados mysql não inicia e reclama que[InnoDB] Upgrade is not supported after a crash or shutdown with innodb_fast_shutdown = 2. This redo log was created with MySQL 5.7.33, and it appears logically non empty. Please follow the instructions at http://dev.mysql.com/doc/refman/8.0/en/upgrading.html

On prode dev, mysql> SELECT @@datadir;dá /data/mysql( /dataé um volume lvm).

Em prode dev, mysql> SELECT @@innodb_fast_shutdowndá 1.

informações da versão do mysql:

prod$ mysql --version
mysql  Ver 14.14 Distrib 5.7.33, for Linux (x86_64) using  EditLine wrapper

dev$ mysql --version
mysql  Ver 8.0.34-0ubuntu0.20.04.1 for Linux on x86_64 ((Ubuntu))

Parece que devmeu backup ativo é o resultado de uma falha. Talvez seja porque estou usando FLUSH TABLES WITH READ LOCK;para obter um instantâneo consistente, mas isso não resulta em uma imagem datadir compatível com atualização.

Se eu substituir os comandos FLUSH TABLES WITH READ LOCK/ UNLOCK TABLESpor comandos systemctl stop mysql/ systemctl start mysql, a devmáquina não reclamará do estado de travamento. No entanto, não quero fazer isso porque não quero perder conexões de banco de dados existentes ou negar conexões de entrada durante o breve período em que estou criando meu instantâneo na máquina prod. Como posso criar um instantâneo consistente que funcione para atualizações sem desligar o daemon mysql?

Detalhes essenciais sobre como criar e restaurar o backup:

Para sua informação prod, está executando o Ubuntu 16.04 e devo Ubuntu 20.04.

Meu procedimento de backup é assim:

  1. Bloqueie todas as tabelas:

    prod mysql> FLUSH TABLES WITH READ LOCK;

  2. Crie um instantâneo:

    prod# lvcreate --extents 100%FREE --snapshot --name mysql-backup /dev/myvg/mylv

  3. Desbloqueie todas as mesas:

    prod mysql> UNLOCK TABLES;

  4. Monte o snapshot e crie um arquivo tar dos dados:

    prod# mount /dev/myvg/mysql-backup /mnt/bkup
prod# tar -C /mnt/bkup -aczf ~/bkup.tar.gz mysql

  5. Limpar

    prod# umount /mnt/bkup
prod# lvremove --yes /dev/myvg/mysql-backup

  6. Mova o arquivo tar para a máquina de desenvolvimento. Descompacte os dados em /data/mysql.

  7. Inicie o daemon mysql:

    dev# systemctl start mysql
Job for mysql.service failed because the control process exited with error code.
See "systemctl status mysql.service" and "journalctl -xe" for details.

  8. Examinar /var/log/mysql/error.log:

    2023-10-03T14:21:47.688509Z 0 [System] [MY-010116] [Server] /usr/sbin/mysqld (mysqld 8.0.34-0ubuntu0.20.04.1) starting as process 79121
2023-10-03T14:21:47.746245Z 1 [System] [MY-011012] [Server] Starting upgrade of data directory.
2023-10-03T14:21:47.747076Z 1 [System] [MY-013576] [InnoDB] InnoDB initialization has started.
2023-10-03T14:21:48.125425Z 1 [ERROR] [MY-012526] [InnoDB] Upgrade is not supported after a crash or shutdown with innodb_fast_shutdown = 2. This redo log was created with MySQL 5.7.33, and it appears logically non empty. Please follow the instructions at http://dev.mysql.com/doc/refman/8.0/en/upgrading.html
2023-10-03T14:21:48.125480Z 1 [ERROR] [MY-012930] [InnoDB] Plugin initialization aborted with error Generic error.
2023-10-03T14:21:48.404686Z 1 [ERROR] [MY-011013] [Server] Failed to initialize DD Storage Engine.
2023-10-03T14:21:48.405086Z 0 [ERROR] [MY-010020] [Server] Data Dictionary initialization failed.
2023-10-03T14:21:48.406142Z 0 [ERROR] [MY-010119] [Server] Aborting
2023-10-03T14:21:48.407096Z 0 [System] [MY-010910] [Server] /usr/sbin/mysqld: Shutdown complete (mysqld 8.0.34-0ubuntu0.20.04.1)  (Ubuntu).
mysql
Martin Hope
Isaac Sutherland
Asked: 2022-05-27 13:25:01 +0800 CST
  • 1

Eu tenho uma tabela com 100 milhões de linhas. Eu quero processar uma linha por vez em nenhuma ordem específica. Não quero carregar todos os dados na memória de uma vez e quero resultados parciais imediatos. Para eliminar possíveis problemas com a estrutura ORM que estou usando, pensei em testar minha capacidade de obter resultados parciais imediatos usando o mysqlcliente de linha de comando, da seguinte maneira:

mysql> select id from my_table \G

Mas o mysqlcliente fica lá por 75 segundos sem imprimir nada, crescendo para um tamanho final de 5,8 GB (relatado por top), e então começa a imprimir os resultados. Durante a impressão dos resultados, o consumo de memória do mysqlprocesso cliente não muda (permanece em 5,8 GB).

Durante os primeiros 75 segundos, usando uma segunda mysqlsessão, posso ver que minha consulta está no sending dataestado. Quando o cliente começa a imprimir os resultados, o comando process (conforme relatado pelas show processlistalterações de Querypara Sleep.

Por que o mysqlcliente interativo espera para imprimir os resultados até que todos os resultados estejam disponíveis? Isso é um tremendo desperdício de RAM e não produz resultados parciais imediatos.

mysql