Existem ferramentas de benchmarking do MySQL? [fechado]

Question

Isaac Sutherland

Asked: 2023-10-04 00:11:39 +0800 CST2023-10-04 00:11:39 +0800 CST 2023-10-04 00:11:39 +0800 CST

backup quente do mysql com suporte de atualização

772

Eu executo um backup dinâmico de um banco de dados MySQL de produção usando um instantâneo LVM e, em seguida, tento restaurar esse backup em uma máquina de desenvolvimento. No entanto, o devbanco de dados mysql não inicia e reclama que[InnoDB] Upgrade is not supported after a crash or shutdown with innodb_fast_shutdown = 2. This redo log was created with MySQL 5.7.33, and it appears logically non empty. Please follow the instructions at http://dev.mysql.com/doc/refman/8.0/en/upgrading.html

On prode dev, mysql> SELECT @@datadir;dá /data/mysql( /dataé um volume lvm).

Em prode dev, mysql> SELECT @@innodb_fast_shutdowndá 1.

informações da versão do mysql:

prod$ mysql --version
mysql  Ver 14.14 Distrib 5.7.33, for Linux (x86_64) using  EditLine wrapper

dev$ mysql --version
mysql  Ver 8.0.34-0ubuntu0.20.04.1 for Linux on x86_64 ((Ubuntu))

Parece que devmeu backup ativo é o resultado de uma falha. Talvez seja porque estou usando FLUSH TABLES WITH READ LOCK;para obter um instantâneo consistente, mas isso não resulta em uma imagem datadir compatível com atualização.

Se eu substituir os comandos FLUSH TABLES WITH READ LOCK/ UNLOCK TABLESpor comandos systemctl stop mysql/ systemctl start mysql, a devmáquina não reclamará do estado de travamento. No entanto, não quero fazer isso porque não quero perder conexões de banco de dados existentes ou negar conexões de entrada durante o breve período em que estou criando meu instantâneo na máquina prod. Como posso criar um instantâneo consistente que funcione para atualizações sem desligar o daemon mysql?

Detalhes essenciais sobre como criar e restaurar o backup:

Para sua informação prod, está executando o Ubuntu 16.04 e devo Ubuntu 20.04.

Meu procedimento de backup é assim:

Bloqueie todas as tabelas:

prod mysql> FLUSH TABLES WITH READ LOCK;

Crie um instantâneo:

prod# lvcreate --extents 100%FREE --snapshot --name mysql-backup /dev/myvg/mylv

Desbloqueie todas as mesas:
```
prod mysql> UNLOCK TABLES;
```

Monte o snapshot e crie um arquivo tar dos dados:

prod# mount /dev/myvg/mysql-backup /mnt/bkup
prod# tar -C /mnt/bkup -aczf ~/bkup.tar.gz mysql

Limpar

prod# umount /mnt/bkup
prod# lvremove --yes /dev/myvg/mysql-backup

Mova o arquivo tar para a máquina de desenvolvimento. Descompacte os dados em /data/mysql.

Inicie o daemon mysql:

dev# systemctl start mysql
Job for mysql.service failed because the control process exited with error code.
See "systemctl status mysql.service" and "journalctl -xe" for details.

Examinar /var/log/mysql/error.log:

2023-10-03T14:21:47.688509Z 0 [System] [MY-010116] [Server] /usr/sbin/mysqld (mysqld 8.0.34-0ubuntu0.20.04.1) starting as process 79121
2023-10-03T14:21:47.746245Z 1 [System] [MY-011012] [Server] Starting upgrade of data directory.
2023-10-03T14:21:47.747076Z 1 [System] [MY-013576] [InnoDB] InnoDB initialization has started.
2023-10-03T14:21:48.125425Z 1 [ERROR] [MY-012526] [InnoDB] Upgrade is not supported after a crash or shutdown with innodb_fast_shutdown = 2. This redo log was created with MySQL 5.7.33, and it appears logically non empty. Please follow the instructions at http://dev.mysql.com/doc/refman/8.0/en/upgrading.html
2023-10-03T14:21:48.125480Z 1 [ERROR] [MY-012930] [InnoDB] Plugin initialization aborted with error Generic error.
2023-10-03T14:21:48.404686Z 1 [ERROR] [MY-011013] [Server] Failed to initialize DD Storage Engine.
2023-10-03T14:21:48.405086Z 0 [ERROR] [MY-010020] [Server] Data Dictionary initialization failed.
2023-10-03T14:21:48.406142Z 0 [ERROR] [MY-010119] [Server] Aborting
2023-10-03T14:21:48.407096Z 0 [System] [MY-010910] [Server] /usr/sbin/mysqld: Shutdown complete (mysqld 8.0.34-0ubuntu0.20.04.1)  (Ubuntu).

1 respostas

Voted

Isaac Sutherland · Answer 1 · 2023-10-05T22:34:59+08:00

O mysql 8.0 não atualizará os arquivos de dados a menos que você primeiro execute um desligamento limpo usando o mysql 5.7. Felizmente, você pode fazer isso da seguinte maneira na prodmáquina:

Copie a quente um instantâneo consistente do volume LVM do banco de dados de produção e monte-o /mnt/bkupconforme descrito na pergunta acima.
Gere um processo temporário do mysql 5.7 com datadir apontando para o instantâneo montado (no meu caso /mnt/bkup/mysql).
Quando o processo temporário do mysql terminar de inicializar, envie-lhe o sinal SIGTERM para provocá-lo a realizar um desligamento limpo.
Em seguida, alcatre o conteúdo /mnt/bkup/mysqle transfira-o para a devmáquina.

Para descobrir quais argumentos fornecer ao processo mysql temporário, usei o comando e prod# mysqld --print-defaultsdepois ajustei os argumentos --socket, --port, , e para que não interferissem na instância primária que está executando os dados de produção.--datadir--tmpdir--log_errormysqld

Aqui está o que eu descobri, que funciona para mim:

TMP=/tmp/db-bkup
PIDFN=$TMP/mysqld.pid
LOGFN=$TMP/error.log
mkdir -p $TMP
rm -f $LOGFN
mysqld --user=mysql --pid-file=$PIDFN --socket=$TMP/mysqld.sock --port=3307 --basedir=/usr --datadir=/mnt/bkup/mysql --tmpdir=$TMP --lc-messages-dir=/usr/share/mysql --skip-external-locking --bind-address=127.0.0.1 --key_buffer_size=16M --max_allowed_packet=16M --thread_stack=192K --thread_cache_size=8 --myisam-recover-options=BACKUP --query_cache_limit=1M --query_cache_size=16M --log_error=$LOGFN --expire_logs_days=10 --max_binlog_size=100M &
while :
do
    if cat $LOGFN | grep "\[ERROR\]"; then
        echo "mysqld failed to clean up my hot copy."
        exit 1
    fi
    if cat $LOGFN | grep "\[Note\] mysqld: ready for connections."; then
        PID=`cat $PIDFN`
        kill -SIGTERM $PID
        timeout 1m tail --pid=$PID -f /dev/null
        if [ $? -eq 124 ]; then
            kill -SIGKILL $PID
        fi
        break
    fi

    sleep 1
done

Depois disso posso prosseguir para o tar /mnt/bkup/mysqle transferi-lo para a devmáquina, onde se eu inicializar o daemon mysql, obtenho o seguinte:

2023-10-05T14:06:41.874464Z 0 [System] [MY-010116] [Server] /usr/sbin/mysqld (mysqld 8.0.34-0ubuntu0.20.04.1) starting as process 5582
2023-10-05T14:06:41.926719Z 1 [System] [MY-011012] [Server] Starting upgrade of data directory.
2023-10-05T14:06:41.927847Z 1 [System] [MY-013576] [InnoDB] InnoDB initialization has started.
2023-10-05T14:06:44.251288Z 1 [System] [MY-013577] [InnoDB] InnoDB initialization has ended.
2023-10-05T14:06:55.445792Z 2 [System] [MY-011003] [Server] Finished populating Data Dictionary tables with data.
2023-10-05T14:07:03.036193Z 5 [System] [MY-013381] [Server] Server upgrade from '50700' to '80034' started.
2023-10-05T14:08:02.968532Z 5 [System] [MY-013381] [Server] Server upgrade from '50700' to '80034' completed.

Sucesso!

backup quente do mysql com suporte de atualização

conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

Como fazer a saída do sqlplus aparecer em uma linha?

Selecione qual tem data máxima ou data mais recente

Como faço para listar todos os esquemas no PostgreSQL?

Listar todas as colunas de uma tabela especificada

Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

Como você mysqldump tabela (s) específica (s)?

Listar os privilégios do banco de dados usando o psql

Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

Como faço para listar todos os bancos de dados e tabelas usando o psql?

backup quente do mysql com suporte de atualização

1 respostas

relate perguntas