主页 / server / 问题 / 614947
Accepted
MultiformeIngegno
Asked: 2014-07-24 11:41:04 +0800 CST

s3cmd：即时备份

  • 772

为了进行备份，我创建了一个脚本，该脚本对我需要备份的所有文件夹进行存档，将其发送到 S3（通过 s3cmd），然后在上传完成后将其删除。

我正在寻找一种方法来避免必须创建存档然后将其删除，因为我没有足够的空间来临时存储存档！可能吗？

这是我的脚本：

DBLIST=`mysql -uMYSQL_USERNAME -pMYSQL_PASSWORD --events -ANe"SELECT GROUP_CONCAT(schema_name) FROM information_schema.schemata WHERE schema_name NOT IN ('information_schema','performance_schema')" | sed 's/,/ /g'`
MYSQLDUMP_OPTIONS="-uMYSQL_USERNAME -pMYSQL_PASSWORD --single-transaction --routines --triggers"
BACKUP_DEST="/home/backup/db"
for DB in `echo "${DBLIST}"`
do
    mysqldump ${MYSQLDUMP_OPTIONS} ${DB} | gzip -f > ${BACKUP_DEST}/${DB}.sql.gz &
done
wait
tar -czvf /home/backup/db2/`date +\%G-\%m-\%d`_db.tar.gz ${BACKUP_DEST}
s3cmd --reduced-redundancy put -r /home/backup/db2/ s3://MY-S3-BUCKET/ --no-encrypt
find /home/backup -type f -delete

在旁注中，我敢打赌，将用户名/密码以纯文本形式存储在 crontab 文件中不是最佳做法。我该如何解决这个问题？

提前致谢 ：）

mysql

1 个回答

  1. Best Answer

    看起来s3cmd至少可以根据2/6/2014上此错误的解决方案接受来自标准输入的输入。如果您的 s3cmd 比您应该能够做到的更新：

    tar -czvf - ${BACKUP_DEST} | s3cmd --reduced-redundancy put - s3://MY-S3-BUCKET/`date +\%G-\%m-\%d`_db.tar.gz --no-encrypt

    大多数实用程序-用作文件名来指示写入标准输出或从标准输入读取。这将消除驱动器上的 .tar.gz 文件。

    就密码/密钥/等而言，您似乎可以使用 s3cmd 指定配置文件-c FILENAME，大概您会使用通过添加--dump-config到完整s3cmd命令行生成的命令来创建文件。不过，您仍然需要保护该文件。同样，MySQL 有它的~/.my.cnf文件（参见此处的示例），您可以在其中存储连接信息。

    此外，由于您已经在对单个数据库转储进行 gzip 压缩，我怀疑再次 gzip 压缩 tar 不会进一步压缩数据，并且会使整个过程花费更长的时间。考虑只使用-cvf -and.tar作为文件名。

    • 1

相关问题