主页 / dba / 问题 / 342369
Accepted
sanjihan
Asked: 2024-09-14 19:40:00 +0800 CST

在转储创建时将文本添加到 mysqldump 输出中

  • 772

我正遭受 mysqldump/mariadb-dump 速度缓慢的困扰。

我发现禁用autocommit, unique_checks and foreign_key_checks提升导入性能。

我通过在前面dump.sql添加

SET autocommit=0;SET unique_checks=0;SET foreign_key_checks=0;

并附加

COMMIT;SET unique_checks=1;SET foreign_key_checks=1;

直到它的结束。

附加很简单，但是在添加时，我需要在所消耗的时间和空间之间做出妥协。

前面加上

sed -i '0,/^/s//SET autocommit=0;SET unique_checks=0;SET foreign_key_checks=0;/' dump.sql

进行大型转储可能需要花费大量时间，但它会创建一个文件。

cat <(echo "SET autocommit=0;SET unique_checks=0;SET foreign_key_checks=0;") dump.sql <(echo "COMMIT;SET unique_checks=1;SET foreign_key_checks=1;") > new-dump.sql"

速度很快，但它会创建另一个转储文件，因此占用大量空间（即使它只是临时的）

在创建转储时，是否可以指示mysqldump/maridb-dump在转储前面添加和附加自定义文本？

mysql

2 个回答

  1. Best Answer

    echo在命令之前和之后使用mariadb-dump，然后将输出重定向到文件中，至少应该可以与 bash 一起使用：

    (echo "SET autocommit=0;SET unique_checks=0;SET foreign_key_checks=0;" && \
 mariadb-dump <options...> && \
 echo "COMMIT;SET unique_checks=1;SET foreign_key_checks=1;") > dump.sql

    当您将输出通过管道传输到远程服务器或其他程序时，这也有效gzip。

    • 3

  2. 我更喜欢使用 bash 脚本进行大量导入。它很简单而且非常有用，尤其是在副本上，您可以start slave/replica在还原完成后运行它。

    可以添加更多命令，如net_buffer_length或max_allowed_packet等等。

    它在终端上输出恢复开始和结束的时间。

    Bash 脚本

    #!/bin/sh

# store start date to a variable
imeron=`date`

echo "Import started: OK"
dumpfile="/root/asterisk.sql" ### File to be restored
#ddl="set names utf8; "
ddl="$ddl SET foreign_key_checks = 0; "
ddl="$ddl SET UNIQUE_CHECKS = 0; "
ddl="$ddl SET AUTOCOMMIT = 0; "
# if your dump file does not create a database, select one
ddl="$ddl USE asterisk; "
ddl="$ddl source $dumpfile; "
ddl="$ddl SET foreign_key_checks = 1; "
ddl="$ddl SET UNIQUE_CHECKS = 1; "
ddl="$ddl SET AUTOCOMMIT = 1; "
ddl="$ddl COMMIT ; "
echo "Import started: OK"

time sudo mysql -u root -p1234  asterisk -e "$ddl" ### Restore command , user, password , database 

# store end date to a variable
imeron2=`date`

echo "Start import:$imeron"
echo "End import:$imeron2"

    编辑问题是关于创建数据库转储，而不是将其加载到数据库中

    我还是喜欢使用更有效的脚本，它可以根据需要轻松调整

    #!/bin/sh

# store start date to a variable
start_date=`date`

echo "Backup started: OK"

# Define variables
backupfile="/root/asterisk_backup.sql"  # Backup file location and name
database="asterisk"                     # Database to be backed up
user="cron"                             # MySQL username
password="1234"                         # MySQL password

# Disable foreign key checks and unique checks before the dump
mysql -u $user -p$password -e "SET foreign_key_checks = 0; SET UNIQUE_CHECKS = 0; SET AUTOCOMMIT = 0;" $database

# Create the backup using mysqldump
time mysqldump -u $user -p$password --comments --hex-blob -R -B --databases $database > $backupfile

# Check if the backup was successful
if [ $? -eq 0 ]; then
    echo "Backup completed successfully."

    # Enable foreign key checks , unique checks and autocommit after the backup has finished
    mysql -u $user -p$password -e "SET foreign_key_checks = 1; SET UNIQUE_CHECKS = 1; SET AUTOCOMMIT = 1;" $database
else
    echo "Backup failed."

    # Enable foreign key checks , unique checks and autocommit if the backup fails
    mysql -u $user -p$password -e "SET foreign_key_checks = 1; SET UNIQUE_CHECKS = 1; SET AUTOCOMMIT = 1;" $database
fi

# store end date to a variable
end_date=`date`

echo "Start backup: $start_date"
echo "End backup: $end_date"

    它将显示类似

    astdbtemplate:~ # bash backupMySQL.sh
Backup started: OK

real    0m2.766s
user    0m0.131s
sys     0m0.086s
Backup completed successfully.
Start backup: Mon Sep 16 09:44:38 CEST 2024
End backup: Mon Sep 16 09:44:41 CEST 2024
    • 0

相关问题