问题[dmcrypt](server)

我目前正在 Proxmox VE 上设置服务器。我希望对所有驱动器进行加密，因此我选择在所有磁盘上设置 luks，并在 luks 之上设置 LVM。

现在，当我使用 dd 将数据从快速驱动器 (SSD) 传输到较慢驱动器 (HDD) 时，它以一些 GB/s 的速度启动得非常快。然后减速。然后我注意到 IO 等待高达 10%，系统负载上升到 36。一些虚拟机受此影响并冻结。

进一步的监测显示，在高 IO 等待期间dmcrypt_write使用了 99% 的 IO。所以我安装了 Netdata 来获取一些图表，并显示 HDD 正在以大约 120 到 150 MB/s 的速度写入。

一段时间后，kworkers 因耗时过长而被杀死。经过一些研究，我将dirty_ratioand调整dirty_background_ratio为较低的值，这有助于但大大降低了速度。大约 25 MB/s。这防止了巨大的冻结，但仍然导致一些滞后。这也减慢了 HDD 本身的写入速度。HDD 不再以 150 MB/s 的速度写入，而现在只能以 50 MB/s 的速度写入。

老实说，我不知道更多。有没有我还没有找到的缓存？或者是否有办法将 Linux 中的写入速度限制为应有的驱动器写入速度？

我唯一的目标是将数据从 A 复制到 B，而不必手动限制速度，也不必担心虚拟机冻结。

系统信息：

CPU： 2x Intel Xeon E5-2650 v2
RAM： 128 GB DDR3 ECC
操作系统：手动安装 Proxmox VE
内核的 D​​ebian 10： Linux 5.3.18-3-pve #1 SMP PVE 5.3.18-3 (Tue, 17 Mar 2020 16:33:19 +0100) x86_64 GNU/Linux

我让 dd 读取的 SSD 是 RAID 1 中的两个东芝企业 SAS-SSD。HDD 是一些 5400rpm 的 SATA HDD（所以......不是最快的）。它们也在 RAID 1 中。

RAID 由 DELL PERC H710 mini（嵌入式）管理。所有 RAID 都具有Adaptive Read Ahead读取策略和Write Through写入策略。

我还注意到一个看起来很奇怪的 Dirty/ Writeback 图：点击查看图像（新手保护）

我正在寻找为存储服务器设置文件系统/分区的最佳方法，其特点是部分数据丢失不是问题。

假设我有 4x3TB 磁盘，我想以这样的方式排列它们：a）我获得了存储分区的最大可用空间，b）系统分区被镜像并且可以承受一个磁盘的故障。（在这种情况下，部分数据丢失并不是什么大问题，假设我们存储可重现的数据，但重新创建它非常耗时）

我目前的方法如下：

• RAID1->EXT4 在不同磁盘上的两个 ~100GB 分区上用于系统文件。
• LVM->DMCRYPT->EXT4 与其余分区和磁盘。（存储应加密）

这里有趣的是：假设磁盘#3（磁盘#1和磁盘#2是带有RAID分区的磁盘）失败（最坏的情况，所有数据都丢失）和换了？ext4 文件系统怎么样，我能修复它吗？我确定我会丢失存储在该特定磁盘上的所有数据，但是其余的呢？

也许我错过了一些可以很好地处理这种情况的文件系统/程序，但大多数时候它都是关于数据恢复的，这在这种情况下并不是很有帮助。我对任何适合的不同方法持开放态度。

编辑：当然我可以在所有存储分区上执行 DMCRYPT->EXT4，但是我想要一个挂载点，当然也不需要在重启时打开所有 dmcrypts 的麻烦（使用上述设置，我只需执行一次）。