我们有一个带有 MySQL DB（在 AWS RDS 上）的 Ruby on Rails 应用程序。我们的一些表有大约 1 亿条记录，而且这个数字每个月都在迅速增加。这些表中的大多数记录都处于非活动状态，并且仅在用户可以访问的某些报表中偶尔访问。
我们现在面临几个问题：
我们的要求是：
因此，我们计划执行以下操作：
我们的问题是这种方法是否是传统的，是否有更好的方法来实现我们想要的。任何输入将不胜感激。
我被困在 MongoDB 3.6 中归档大量数据
我想删除集合中的 5.06 亿条记录。我尝试使用 bulk.remove() 删除，但这也很慢。每秒删除 50 条记录。
但在我读到的某个地方，TTL 索引并每 1 小时进行一次扫描间隔。所以它会以更快的方式删除。
但是如果我在前台创建这个索引，它会锁定集合。所以我正在考虑使用滚动索引创建方法。
如果这样做，假设在 3 节点副本集上，分离 node3 然后创建索引。一旦创建，它将开始自动删除数据。然后一旦我将节点添加回副本集，也许主节点会在我创建索引后执行删除，到时候它会尝试复制，在最坏的情况下，该节点上的数据已经被删除，然后它'会打破复制？
我有一个相当大的 PostgreSQL 数据库（带有时间刻度插件）。现在它在 SSD 上消耗大约 500Gb。大多数数据都是时间序列的形式。在大多数情况下，几个月前的数据并不是很有趣。
我的想法是将这些数据移动到便宜的 SATA 硬盘驱动器上，而不是购买更昂贵的 SSD。这是一个好主意，是否有一些好的实践来实施？
我的幼稚实现是：
保留两个数据库（或在便宜的 HDD 上创建一个表空间）。每隔几个小时将数据从“快速”（SSD）数据库提取到“慢速”数据库（HDD）。每隔几天，从慢速数据库中删除数据。这是一个好主意吗？我很高兴听到一些反馈和更好的建议。
我看到许多 pg_log 文件充满了以下错误
2019-07-08 00:04:06 CEST DETAIL: The failed archive command was: copy "pg_xlog\000000010000002100000025" "D:/Programme/OmniBack/server/db80/pg/pg_xlog_archive/000000010000002100000025"
2019-07-08 00:04:07 CEST LOG: archive command failed with exit code 1
2019-07-08 00:04:07 CEST DETAIL: The failed archive command was: copy "pg_xlog\000000010000002100000025" "D:/Programme/OmniBack/server/db80/pg/pg_xlog_archive/000000010000002100000025"
2019-07-08 00:04:07 CEST WARNING: transaction log file "000000010000002100000025" could not be archived: too many failures
2019-07-08 00:05:07 CEST LOG: archive command failed with exit code 1**
postgres.conf 有设置
checkpoint_segments = 256
wal_buffers = 256MB
wal_level = archive
archive_mode = on
port = 7112
work_mem = 128MB
shared_buffers = 512MB
effective_cache_size = 32719MB
listen_addresses = '*'
logging_collector = on
log_line_prefix = '%t '
archive_command = 'copy "%p" "D:/Programme/OmniBack/server/db80/pg/pg_xlog_archive/%f"'**
我已经检查pg_xlog了这个文件的文件夹。此文件不存在，pg_xlog但pg_xlog\archive_status具有以下权限
pg/pg_xlog\archive_status\000000010000002100000025.ready
KDLF\adminkdlf:(I)(F)
VORDEFINIERT\Administratoren:(I)(F)
NT-AUTORITŽT\SYSTEM:(I)(F)
VORDEFINIERT\Benutzer:(I)(RX)
我的磁盘快满了。请说明为什么会出现此问题，因为其他日志仍未存档。我不确定我是否在这里遗漏了什么。
我正在尝试在同一台服务器上运行 mongodb 副本集合。
要求是我们根据我们的存档策略删除数据库，但我们需要从该数据中保留一个集合作为备份在同一服务器上的单独数据库中。
我运行 copyCollection 但它会锁定整个 mongo 实例并阻止所有其他操作。
集合大小为 10 GB，因此复制需要相当长的时间，并且系统在一段时间内不可用。
请提出一种在不锁定整个实例的情况下实现此目的的方法。
我只是想找出一些方法来管理数据库中部分/大部分应用程序数据的归档，并想知道这样的事情是否可行：
这是一个简化的例子：
#######################################################################################################
### Active_Prod ###
#######################################################################################################
# ALIASAPPTYPE ALIASAPPREASON PZINSKEY PZPVSTREAM #
# App_Type_1234 New Enrollee 132387Something6357997 <SYMLINKED to Archive_Prod.pzpvstream> #
# #
# #
#######################################################################################################
### Archive_Prod ###
#######################################################################################################
# ALIASAPPTYPE ALIASAPPREASON PZINSKEY PZPVSTREAM #
# App_Type_1234 New Enrollee 132387Something6357997 [BLOB Data] #
#######################################################################################################
因此查询select * from Active_Prod将返回以下结果：
ALIASAPPTYPE ALIASAPPREASON PZINSKEY PZPVSTREAM
App_Type_1234 New Enrollee 132387Something6357997 [BLOB Data]
我们不会关心更新或插入数据，因为Archive_Prod无论如何数据库都会被设置为只读。我的想法是，我们可以Active通过归档大部分日期（无论如何，大部分数据都驻留在 BLOB 中）来大幅减少 DB2 实例，但将“关键”字段保留在“活动”数据库中以加快查找速度。但是通过创建数据的符号链接，我们可以提高 PEGA 的性能，并通过显着减少数据库的整体大小来缩短备份/恢复时间。
数据库处于存档模式。我们每晚 23:00 都会创建完整的在线备份。我们设置自动删除旧的在线备份和存档日志。
AUTO_DEL_REC_OBJ ON
NUM_DB_BACKUPS 2
REC_HIS_RETENTN 2
在备份文件夹中，我们有两个在线备份，没关系：
Backup1 22.02 23:00
Backup2 23.02 23:00
在存档日志文件夹中，我们有这些日志：
from S0000047.LOG to S0000057.LOG (from 22.02 23:00 to the 23.02 22:41)
from S0000058.LOG to S0000062.LOG (from 23.02 23:00 to this morning 24.02)
这些当然是好的日志。但我注意到我们还有不应该存在的存档日志（21.02 备份后的日志已被删除，所有这些事务都已包含在 22.02 的备份中）。但是我们有存档日志
from S0000037.LOG to S0000046.LOG (from 22.02 01:41 to the 22.02 22:42)
所以那些是不必要的日志。在其他一些客户的其他系统（服务器）上，我们也启用了此清除功能，但我们经常遇到这种情况 - 只有备份和保留这些备份后的存档日志，没有以前的存档日志，但在这个系统上似乎删除所有归档日志延迟 1 天。
为什么我真的认为这不是正常情况（正如我所说，也是基于其他服务器上的经验）
我们的架构如下所示：
tblTrip：存储开始和结束行程日期和时间tblTripData: 保存所有行程数据tblTripEvent：存储与特定行程相关的事件。然后我们还有两个表tblTripEmail和tblTripSms，它们存储了根据事件发送的电子邮件和短信。
我们希望仅保留 3 个月前的行程数据，我们希望不时删除并存档其余的以存储在离线数据库中。
存储在离线数据库中的最佳机制是什么？我不确定分区会有什么帮助，因为这些表在这里是相互链接的。
下面是 tblTripData 的表 desc
CREATE TABLE IF NOT EXISTS `tblTripData` (
`tripDataID` int(11) NOT NULL AUTO_INCREMENT,
`tripID` int(5) NOT NULL,
`deviceSerialNumber` varchar(20) NOT NULL,
`latitude` double NOT NULL,
`longitude` double NOT NULL,
`speed` float NOT NULL,
`course` int(3) NOT NULL,
`gpsdateTimer` datetime NOT NULL,
`insertDateTime` datetime NOT NULL,
`odoMeter` float NOT NULL DEFAULT '0',
`driverID` int(5) NOT NULL,
`eventAlertID` int(11) NOT NULL DEFAULT '0',
`tripDataInsertDateTime` datetime NOT NULL
PRIMARY KEY (`tripDataID`),
KEY `dateTime` (`gpsdateTimer`),
KEY `tripID` (`tripID`),
KEY `eventAlertID` (`eventAlertID`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ;
我正在使用一个拥有大约十年客户数据的遗留应用程序。这些数据中的大部分不用于日常运营，但存在业务要求，在客户从系统退休之前，这些数据可供客户使用。
我们正在探索将数据存档到现有数据库的副本，然后在某个时间点之后从生产中清除记录。
我担心的是，由于开发工作，数据库每个季度都会发生重大的架构更改。
如果我要归档数据的镜像副本，我是否还需要应用每一个与生产不相符的更改脚本？
有没有替代策略？似乎无论您选择哪种存储形式（即数据库、平面文件、xml），您总是需要某种方式将旧模式映射到新模式。