问题[backup](dba)

以下是我正在做的事情：

1. 我有一个 Postgres 16 docker 容器，它正在连续归档 WAL 文件
2. 00012在归档之后00013，我对数据库进行了基础备份，并使用pg_basebackup该备份生成了一个00014..backup文件（这些是示例文件，我知道实际的 WAL 更长）
3. 现在我将基础备份和存档的 WAL 复制到另一个从相同 docker 镜像（包括版本）新创建的 Postgres 16 docker 容器中
4. 我让postgres用户成为所有这些文件的所有者
5. 我从基础备份目录中删除了 WAL pg_wal，并更新了 restore_command postgresql.conf（此外，我还撤消了主服务器上的存档配置）
6. 我删除00012了00013WAL，因为它们已经在基础备份中了，所以现在存档的 WAL 只是00014和创建的 .backup 文件
7. 我创建了一个recovery.signal空文件，位于数据目录中
8. 最后，我将当前目录的名称更改pgdata为pgdata_ini，并将备份目录更改为pgdata，以便它充当我的数据目录
9. 然后我停止容器并重新启动，但由于invalid checkpoint record以下原因，数据库启动失败：could not find required checkpoint record

有人能指出我在这里做错了什么吗？

我不是 DBA，所以请耐心等待。

我有一个运行 SQL Server 2022 的 EC2 实例，我正在尝试使用此版本 SQL Server 中的本机 S3 连接器自动将数据库备份到 S3。底层基础架构就在那里 - 我有存储桶、凭据和策略，并且我已经使用对 S3 端点的基本“备份数据库”查询手动测试了备份。所有这些都运行良好。

但是，我不清楚如何在 SQL Server 中正确地自动执行此操作。看起来“维护计划”功能不支持 S3 端点 - 当我选择“URL”作为目标时，我只会看到 Azure 的选项。我不应该使用维护计划吗？我是否需要创建 SQL Server 代理作业并手动输入备份操作的 T-SQL 查询？如果我这样做，是否需要考虑其他清理要求，而这些要求原本可以由维护计划来处理？

感谢您的见解。

我是 Scylla 的新手，我正在寻找设置适当的备份和恢复解决方案。

我刚刚测试了 running nodetool snapshot -t my_backup，发现它的作用是my_backup在每个键空间和表文件夹内创建一个名为 caled 的快照文件夹。

在我看来，这导致了一些限制：

1. 我无法轻松地将备份保存在另一台服务器上，以防该特定服务器死亡

2. 我无法轻松恢复另一台服务器上的备份（例如作为用于生产支持目的/测试的每日快照）

DBA 通常如何将备份存储在另一台服务器中并将整个数据库恢复到另一台服务器中？

--

我注意到的另一个问题是，nodetool listsnapshots输出中似乎没有提及快照创建日期。

所以我似乎无法找到清除旧快照的方法。

例如，如何“删除超过 10 天的快照”或“保留最后 3 个备份”？

这是我的目录的内容Databases：

total 201M
drwxr-xr-x 23 systemd-coredump systemd-coredump 4.0K May 27 02:07 .
drwxr-xr-x  9 root             root             4.0K Jun  1 10:20 ..
drwx------  2 systemd-coredump systemd-coredump 4.0K May 12 16:31 Accounts
drwx------  2 systemd-coredump systemd-coredump 4.0K May 12 16:31 Aggregates
-rw-rw----  1 systemd-coredump systemd-coredump  17M May 31 07:03 aria_log.00000001
-rw-rw----  1 systemd-coredump systemd-coredump   52 May 31 07:03 aria_log_control
drwx------  2 systemd-coredump systemd-coredump 4.0K May 12 16:31 Blog
drwx------  2 systemd-coredump systemd-coredump 4.0K May 12 16:31 Configuration
drwx------  2 systemd-coredump systemd-coredump 4.0K May 26 10:07 Contacts
drwx------  2 systemd-coredump systemd-coredump 4.0K May 26 10:11 Contents
-rw-r--r--  1 systemd-coredump systemd-coredump  509 Feb 26 10:11 db.sultanimmubin.ir.conf
-rw-rw----  1 systemd-coredump systemd-coredump    9 May 21 02:05 ddl_recovery-backup.log
-rw-rw----  1 systemd-coredump systemd-coredump    9 May 27 02:06 ddl_recovery.log
-rw-r--r--  1 systemd-coredump systemd-coredump 1.2K Feb 26 10:11 docker-compose.yml
drwx------  2 systemd-coredump systemd-coredump 4.0K Apr 12 14:54 Entities
drwx------  2 systemd-coredump systemd-coredump 4.0K May 12 16:31 Forms
drwx------  2 systemd-coredump systemd-coredump 4.0K Apr 12 14:51 Galleries
drwx------  2 systemd-coredump systemd-coredump 4.0K May 26 10:06 Geo
drwx------  2 systemd-coredump systemd-coredump 4.0K May 12 16:31 Globalization
-rw-rw----  1 systemd-coredump systemd-coredump 7.6K May 27 02:01 ib_buffer_pool
-rw-rw----  1 systemd-coredump systemd-coredump  76M May 27 02:01 ibdata1
-rw-rw----  1 systemd-coredump systemd-coredump  96M May 31 07:05 ib_logfile0
-rw-rw----  1 systemd-coredump systemd-coredump  12M May 27 02:07 ibtmp1
drwx------  2 systemd-coredump systemd-coredump 4.0K May 26 10:08 Media
-rw-rw----  1 systemd-coredump systemd-coredump    0 Feb 26 09:57 multi-master.info
drwx------  2 systemd-coredump systemd-coredump 4.0K Feb 26 09:57 mysql
-rw-r--r--  1 systemd-coredump systemd-coredump   15 Feb 26 09:57 mysql_upgrade_info
drwx------  2 systemd-coredump systemd-coredump 4.0K May 12 16:31 Navigation
drwx------  2 systemd-coredump systemd-coredump 4.0K Feb 26 09:56 performance_schema
drwx------  2 systemd-coredump systemd-coredump 4.0K May 12 16:31 Seo
drwx------  2 systemd-coredump systemd-coredump 4.0K May 12 16:31 Social
drwx------  2 systemd-coredump systemd-coredump  12K Feb 26 09:56 sys
drwx------  2 systemd-coredump systemd-coredump 4.0K May 12 16:35 Taxonomy

正如你所看到的，任何以大写开头的目录都是我自己的数据库。我根本不关心日志，只要它们已经插入到相应的表中即可。而且我根本不关心 MariaDB 的基础设施。

我想使用基于文件的备份计划来备份文件。它是一个使用azcopyMicrosoft Azure 将目录和文件放入云中的脚本。

然而，对于一个少于 1000 条记录的简单服务器，它会消耗 200 MB。

除了数据库目录之外，我还应该在云中备份哪些文件以便稍后恢复？

更新 我要求这样做的原因是云成本。我们有一个程序可以将很多文件备份到云端，对于数据库来说，它备份整个Databases目录。这导致我们的账单急剧增加。因为我们是一家网页设计机构，我们有数百个客户，如果我们计算的话，我们每晚都会上传数十GB的数据用于数据库备份。

InnoDB 引擎在使用页面压缩时，严重依赖于文件系统对稀疏文件的支持。InnoDB 页面压缩。

它提出了一个问题，mariabackup/xtrabackup 将如何处理那些 InooDB 稀疏文件

• --backup
• --prepare
• --copy-back

操作？

假设我们总共有 100G InnoDB 表，（ls报告 100G 但du报告 0.5G）。提出以下问题：

• 当我--backup使用 mariabackup/xtrabackup 时，备份本身会在目标目录中稀疏吗？

• 当我--prepare使用 mariabackup/xtrabackup 时，结果会很稀疏吗？

• 当我--copy-back使用 mariabackup/xtrabackup 时，结果将是稀疏的

• 说 mariabackup/xtrabackup 不处理稀疏文件。（悲剧）。我可以用 using cp --sparse=alwaysinstead of来纠正这种行为吗，mariabackup --copy-back ...或者这不是那么简单......

我正在寻找一种基于数据库表中存储的状态备份数据库的解决方案（非活动数据库也保持在线），即使用获取活动数据库的状态

SELECT dbName from DBMain.TableWithDatabaseStatus where activeStatus=1

并且仅对这些数据库的结果执行完整/差异/事务性备份，例如，如果不存在最近的备份，则执行完整备份，否则执行差异和增量备份。

我目前正在查看Ola Halengren 的维护解决方案，在那里我找到了一个不错的选项 @ChangeBackupType = 'Y' -> 如果不存在完整备份，请先使用它。查询是这样的..

EXECUTE dbo.DatabaseBackup
@Databases = 'USER_DATABASES',
@Directory = 'C:\Backup',
@BackupType = 'LOG',
@ChangeBackupType = 'Y'

但是有没有一种方法可以在运行备份脚本之前在 -> @Databases = 'USER_DATABASES' 中手动添加/更新数据库名称（基于使用 activeStatus 的查询结果）？

主要目标是

• 在周末对所有活动数据库进行完整备份
• 在工作日执行 diff 和 transactional
• 如果一个新的数据库在周末不活动，则该数据库变为活动状态，请对该数据库进行完整备份，并按正常程序检查其余数据库。

ADBA 在这里，所以对 Ola halengren 的脚本的任何指示或帮助表示赞赏！

我正在尝试生成一个 SQL 脚本，该脚本将重新创建我在安装 PostgreSQL 时拥有的数据库，但我还没有成功。

我可以使用以下命令创建我的数据库的备份文件：

"C:\Program Files\PostgreSQL\14\bin\pg_dump" -U postgres -p 5432 -W -F p -h localhost TEST_DB > C:\Postgres_DB_Backups\TEST_DB.sql

当我打开这个文件（我的数据库的备份）并尝试在 pgAdmin 中运行该文件时，我收到“PostgreSQL 恢复错误：“x”处或附近的语法错误”。

不确定是什么导致了该错误，因为我所做的只是备份数据库并且没有进行其他更改。我在堆栈溢出上搜索了类似的问题，我所看到的只是它可能是一个编码问题，但如果这确实是问题，它没有提到任何解决问题的方法。

我到底做错了什么？在 PostgreSQL 中备份数据库的最佳方法是什么？

我有一个繁忙的数据库，多年来一直很忙，我看到每天大约有几 GB 的事务日志大小。

在过去的几周中，该事务日志大小已增加到每 6 小时 40-50 GB。这对我的备份产生了很大的影响，并且磁盘上的大小令人担忧。

我每隔一天进行一次完整备份，每 6 小时备份一次日志。

日志备份按预期减少了事务日志使用的大小，但它又迅速开始增加。

我怎样才能发现是什么导致了交易中相对突然的交易增加？

• 我的开发人员在过去几周可能会影响的更改方面处于空白状态
• 没有长时间运行的进程
• 没有计划的作业来执行索引操作
• Redgate 监控没有显示任何过度写入

我该如何进一步调查？

我们有 rman，它只保留当天的备份。在 asm 中，我们在 +RECO/db1/ARCHIVELOG/ 中有一个目录，用于存储过去几个月的归档日志。我们的归档日志路径如下：+RECO/late

在 RMAN 中，我们看不到前几天的存档日志。

我们如何恢复前一天的存档日志？

我们应该将归档日志从 +RECO/db1/ARCHIVELOG/ 移动到 +RECO/late 吗？

其他： 磁盘上存在旧归档日志文件，但 RMAN 中不存在

这是默认/正常行为吗？当我们开始备份时，它会创建一个 316gb 的文件，只有在备份完成后它才会缩小到 131gb。没有意义，因为在这种情况下，我们需要 316gb 或更大的磁盘来启动备份，即使它被压缩到 131gb。