我们在 GKE 上运行了一个 Cassandra 集群，该集群具有 32 个 CPU 节点池和 SSD 磁盘。当前集群大小接近 1 PB，每个节点平均使用 10 TB 分配的 SSD 磁盘上的 5 TB。该集群包含 200 个节点，每个节点有 10 TB 磁盘，总共分配了 2 PB 大小。
这个集群规模，维护成本是比较大的，那么如何才能低成本的实现这么大的集群容灾呢？
我正在考虑的一个选项是在不同区域创建一个新的数据中心，副本数为 1（RF1）。虽然不建议这样做，但它至少会将集群大小减少三倍。
任何建议将不胜感激。
环境详细信息：
恢复数据库的过程如下： 我通过复制 sstables 使用 Nodetool 刷新将 K8s cassandra 中大小为 450TB 的数据库从源恢复到目标。每个节点大约有 5 到 6 TB 数据。我采取的方法：
观察： Nodetool 状态显示每个节点的大小与源相同，cfstats 也与目标和源上的表大小匹配。
迁移后问题：
为了减少集群大小，我开始停用其中一个节点，并在 10 分钟内完成。根据之前的源集群维护情况，预计至少需要 8 小时。
由于预计退役不会仅运行 10 分钟，因此我尝试向集群添加一个新节点，该节点假设复制大约 5-6 TB 的数据，但它只复制了 2 TB。
作为另一项检查，我刚刚在目标集群的另一个节点上尝试了“Nodetool cleanup”，它将数据从 6 TB 减少到 2 TB。相同的清理不会减少源节点上的任何数据。
恢复后，使用收割器工具在目标上修复整个集群，修复没有问题，但退役、清理和引导才是问题。