主页 / dba / 问题 / 325727
Accepted
ejtt
Asked: 2023-04-06 23:19:17 +0800 CST

关于预写日志和恢复的一般问题

  • 772

我最近了解了像 Cassandra 这样的键值存储环境中的预写日志和故障恢复，并有一些后续问题：

  1. WAL 是否被持久化到更小的快照中，以便我们只需要从最新的快照而不是整个提交历史中恢复？保留这些快照并从中恢复的高级机制是什么？
  2. 为了性能写入磁盘时，日志会被批处理吗？这是否有永久丢失数据的风险？
  3. 当机器在从 WAL 恢复期间出现故障时会发生什么？我们最终会在数据库中得到部分结果吗？下一次数据库启动时，我们如何从该状态恢复？
recovery

1 个回答

  1. Best Answer

    当应用程序发出写请求时：

    • 数据存储在称为 的内存结构中memtable，并且
    • 通过将突变附加到commitlog(WAL) 来持久保存到磁盘。

    附加到commitlogis done 有两个原因：

    1. 在服务器中断或硬件故障的情况下，可以在下次重新启动节点时重播突变。
    2. 这使得 Cassandra 中的写入速度非常快，因为所需要的只是不断地将突变附加到日志的末尾，而无需执行磁盘搜索以将更新写入数据文件。

    内存表中的数据最终会被刷新到磁盘上名为 SSTable（排序字符串表文件）的数据文件中。在以下情况下会触发内存表刷新：

    • memtable 超出了内存中分配的空间，
    • 提交日志超过磁盘上的最大提交日志空间，
    • 数据超过 memtable 清理阈值（仅适用于早期版本的 Cassandra），或者
    • 操作员手动启动表冲洗。

    一旦内存表被刷新到磁盘，其对应的提交日志中的数据就会被清除。

    由于突变会持久保存到磁盘中，因此它们是持久的，并且可以在重启和计​​划外中断后继续存在。在提交日志磁盘/卷丢失的最坏情况下，数据不会永远丢失，因为突变会发送到集群中的所有副本，因此存在可以通过修复同步到其他副本的副本。

    有关详细信息，请参阅如何在 Cassandra 中写入数据。干杯!

    • 2

相关问题