问题[dell-perc](server)

我有一台带有 PERC H710 Mini RAID 控制器的翻新戴尔 R720 服务器。我可以在 BIOS 中从物理磁盘组装虚拟磁盘。但是，我想在不重新启动的情况下创建一个虚拟磁盘。我已经安装了 Debian 11 并使用以下说明srvadmin添加了工具。

首先，我尝试使用该idracadm7命令管理磁盘。一些资源表明应该有一个storage子命令，但不是根据idracadm7 help.

我找到了idracadm7 raid get xxx可以查询有关虚拟或物理磁盘或控制器信息的命令。但是这个命令似乎是只读的。当我idracadm7 -r hostname -u user -p password使用自定义 openssl 配置远程连接以允许 TLSv1.0 和 TLSv1.1 时，情况也是如此。在这里我有点困惑，因为内置帮助将工具称为racadm而不是idracadm7. 我正在使用RACADM version 8.4.0.

最后，我发现omconfig我必须设置LD_LIBRARY_PATH为 openssl 1.0.0 库。但是，即使我以 root 身份登录并且 dataeng 服务正在运行，这里的内置帮助也不会显示任何子命令。

root@r720# omconfig -?
  
omconfig         Configures component properties.  
  
The available command(s) are:  
  
Command          Description  
Error! User has insufficient privileges to run command.  

对我来说很难说

• 哪种方法应该有效，
• 哪种方法因缺少驱动程序而失败，
• 哪种方法失败了，因为它是付费订阅功能，
• 哪种方法失败是因为软件过时（并且库不兼容），以及
• 哪种方法失败了，因为命令（如storage）描述了不同的版本。

如何在 Debian 11 下的 PERC H710 Mini 中创建虚拟磁盘？您希望上述任何一种方法都能奏效吗？你会建议什么来解决这些问题？

我刚刚订购了一台新的 PowerEdge R650，它将成为我们公司的主服务器。它将运行带有 10 到 12 个虚拟机的 HyperV，主要是 Windows，但也有一些 Ubuntu。所有标准：域控制器、文件服务器、Web 服务器、Exchange（混合如此少的流量/存储）等。最密集的磁盘将是 SQL Server，800Gb 的数据库预计将在未来三年内增长到 1.1Tb服务器更换。

目前对于数据驱动器，我在 RAID 5 中有 5 个 1.92Tb SAS 12Gb 企业混合使用 SSD，总共 7.2Tb。我们正在使用其中的 3.8Tb。新服务器将在 PERC 755 RAID 控制器上配备 6 个相同类型的驱动器。操作系统驱动器将是带有两个 480 SSD 的 RAID1。

每晚对每个虚拟机进行完全备份，并且每周在异地进行复制。因此，我关心容错，但并不过分担心，好像我们遇到了故障，我们会启动副本并恢复自上次完整备份以来发生的任何变化。对于这些，最有效/最宽容但最快的配置是什么？我认为一个大型 RAID5 阵列不是即使我们目前正在运行的也没有任何问题。两个 RAID5 阵列每个都是 3.84Tb，我可以相应地拆分虚拟机。一个 RAID10 给了我 5.76 并且还有足够的未来空间，但我正在读取/写入单个阵列。我什至可以创建三个独立的 RAID1 阵列，但这对我来说似乎有点矫枉过正，但可能比 RAID10 更有意义。

有什么建议么？在上述每种情况（RAID5、2x RAID5、1x RAID10 或 3x RAID1）中，我将拥有至少 2Tb 的扩展空间，因此最终磁盘大小不是问题，只是性能/效率/容差。

我尝试通过 PERC 配置在驱动器上创建新的 VD。我得到：

“虚拟磁盘创建失败”

该驱动器之前已在另一个系统中使用过。

在我可以使用驱动器之前，我需要清除什么？

我即将更换运行大约 20 个虚拟机（大部分处于空闲状态）的 ESXi 主机。今天，外部 iSCSI 盒 raid6（总共 7Tb）只使用了大约 800Gb。

新服务器将仅具有内部磁盘。2Tb 就足够了。它很可能是戴尔 R640（最多 8 个光盘）。ESXi 将位于一个简单的 raid1（2 个小磁盘）上。

但是虚拟机存储呢？我应该去哪个？（HDD 稍微便宜一些，但差别不大）。

A. 3 个 SSD (960Gb) Raid5 = 2Tb

B. 6 个 HDD (600Gb 10K) Raid10 = 几乎 2Tb

服务器当然会有一个专用的raid-controller (perc)。

我购买了带有嵌入式 SATA 的 PowerEdge R440，我想知道是否可以使用其中的驱动器设置不同的 RAID？即 480GB 驱动器的 RAID 1 和 12TB 驱动器的 RAID 6 还是我需要硬件（H730P）

问题 我有一台戴尔 R610 服务器，我正在尝试使用一些新磁盘和新操作系统进行升级。该服务器有一个 PERC H700 RAID 控制器，固件为 12.0.7.001（这是我在戴尔网站上可以找到的最新版本）。

我从戴尔支持页面运行固件、BIOS 和驱动程序更新。BIOS、生命周期控制器、IDRAC 6、操作系统驱动程序包和 PERC H700 都应该运行此服务标签的最新可用版本。

安装 Windows 后，我将其连接到网络并重新启动系统。在重新启动之前，我展示了 RAID 1 配置中的 1 个虚拟磁盘和 x2 2TB Seagate HDD。第一次重新启动后，我执行 Windows 安装后，我显示 0 个虚拟磁盘，系统不会再次启动到 Windows。

从我在 ServerFault 上读到的其他问题来看，我认为这些磁盘对于这个控制器/固件来说并不过大，虽然它们不是戴尔品牌的磁盘，但我认为它们应该仍然可以工作。

什么可能导致我在安装操作系统之前设置的虚拟磁盘/RAID 消失？

提前感谢您提供的任何建议。

TL;DR：我的管理程序存储存在一些性能问题。这里有一堆测试结果来自fio. 跳到该Results部分阅读它们并查看我的问题。

概括

我最近购买了 R730xd，因此在迁移到它之前，我想确保存储性能最佳。我一直在使用fio进行一些基准测试，并发现了一些令人震惊的结果。使用这些结果和fio-plot的组合，我积累了相当多的图形和图表，这些图表和图表展示了我的各种存储后端的问题。

但是，我很难将其转化为可用信息，因为我没有任何东西可以与之比较。而且我认为我遇到了一些非常奇怪的性能问题。

磁盘配置

以下是暴露给我的管理程序 (Proxmox) 的四种存储类型：

╔═══════════╦════════════════════════════════╦═════════════╦════════════════════════════╗
║  Storage  ║            Hardware            ║ Filesystem  ║        Description         ║
╠═══════════╬════════════════════════════════╬═════════════╬════════════════════════════╣
║ SATADOM   ║ 1x Dell K9R5M SATADOM          ║ LVM/XFS     ║ Hypervisor filesystem      ║
║ FlashPool ║ 2x Samsung 970 EVO M.2 SSD     ║ ZFS RAID 1  ║ Hypervisor Compute Storage ║
║ DataPool  ║ 6x HGST 7200RPM HDD            ║ ZFS RAID 10 ║ Redundant Data Storage     ║
║ RAIDPool  ║ 6x Seagate/Hitachi 7200RPM HDD ║ HW RAID 10  ║ General Purpose Storage    ║
╚═══════════╩════════════════════════════════╩═════════════╩════════════════════════════╝

存储详细信息

以下是每个存储后端的更详细细分：

1. SATADOM：SATADOM由 Proxmox 通过 LVM 直接管理。这是来自 的输出lvdisplay pve。SATADOM 通过内部 DVD-ROM SATA 端口连接到服务器，因为它在R730xd模型中未使用。

2. FlashPool：这FlashPool是一个简单的 ZFS RAID 1，由双 NVMe SSD 组成。目标是将其用作我的虚拟机的后备存储。以下是以下输出：

    zpool list  
    zpool status  
    zfs get all
   

   中的每个 SSD都通过安装在 x16 PCIe 插槽中的PCI-E -> M.2 适配器FlashPool连接到服务器。我知道这些是 x4 PCIe 适配器。但是，我很确定 NVMe 只能以这种速度运行，因此不会制造更快的适配器。

3. DataPool：这DataPool是唯一预先存在的数据集。它已有几年的历史，以前用于数据和 VM 存储，从而损害了性能。它也由 Proxmox 作为 ZFS RAID 10 进行管理。

   它最初由6x 4TB HGST Ultrastar 7K4000 7200RPM磁盘组成。但是，当它们开始出现故障时，我决定用更高密度的磁盘替换它们。因此，该数组现在包括：

    2x 6TB HGST Ultrastar He6 7200RPM  
    4x 4TB HGST Ultrastar 7K4000 7200RPM 
   

   我显然打算最终完全迁移到 6TB 磁盘，因为旧磁盘继续出现故障。以下是上面发布的相同命令的输出FlashPool。

   这 6 个磁盘通过背板上的前 6 个托架连接到服务器。此背板连接到 Dell H730 Mini PERC RAID 控制器。

4. RAIDPool：这RAIDPool是一个实验性的存储后端。我以前从未使用过硬件 RAID，所以现在我有一个合适的 RAID 控制器，我为这个机会感到兴奋。与 类似DataPool，这些磁盘安装在背板上的最后 6 个托架中。但是，它们不是传递给 Proxmox，而是由 PERC 管理。它们作为单个磁盘呈现给 Proxmox，然后由 LVM 管理并通过逻辑卷作为 XFS 文件系统呈现给操作系统。这是来自 的输出lvdisplay RAIDPool。

RAID 控制器配置

因此，您可能刚刚注意到DataPool和RAIDPool都由 H730 RAID 控制器安装和管理。但是，DataPool由 Proxmox 通过 ZFSRAIDPool管理，由实际控制器管理。

这是物理磁盘拓扑的屏幕截图。H730 能够将磁盘直接传递到操作系统并同时管理其他磁盘。如您所见，前 6 个磁盘配置为Non-RAIDmode，后 6 个磁盘配置为Onlinemode。

• 以下是 iDRAC UI 中为控制器配置的属性。
• 为虚拟磁盘 ( ) 上的回写和预读启用磁盘缓存RAIDPool。由于这是专门为 VD 配置的，因此不会影响 ZFS 驱动器。
• 非 RAID磁盘的 Dick Cache (ZFS DataPool) 设置为Disable.
• 所有驱动器的链接速度设置为auto。

此外，在再次完成所有设置后，我启用Write Cache了嵌入式 SATA 控制器。因此，这可能会提高SATADOM以下基准中所见的性能。

基准测试：

我以两种方式对所有这些存储后端进行了基准测试。对于这两个测试，我在一个小的 shell 脚本中运行了一系列fio-plot命令，将结果转储到几个文件夹中。

如果您很疯狂并且想自己解析原始结果，那么它们就是. 您需要稍微调整一下我的脚本才能重新运行，因为我在上传之前移动了目录结构来组织它。

简而言之，他们针对每个存储后端进行了一系列测试，评估了其RANDOM带宽、IOPS 和延迟。然后它将这些结果绘制在图表上。一些图表比较了多个后端。其他图表仅显示来自各个后端的结果。我没有执行任何顺序测试。在所有情况下，默认块大小都用于测试。

测试 1)在 Proxmox 中，我将所有存储后端安装到/mnt目录中。ZFS 池被简单地导入操作系统，RAIDPool 和 RAIDPoolSATADOM都通过 LVM 呈现给操作系统。每个都有一个格式化为 XFS 分区的逻辑卷，用于基准测试。注意：我从实时操作系统运行这些基准测试，因此性能SATADOM会受到相应影响。

• 比较图
• 个别图表

使用以下命令生成日志文件：

./bench_fio --target /mnt/SATADOM_Data/bm --type directory --size 450M --mode randread randwrite --output SATADOM
./bench_fio --target /mnt/RAIDPool_Data/bm --type directory --size 1G --mode randread randwrite --output RAIDPOOL
./bench_fio --target /mnt/DataPool/bm/ --type directory --size 1G --mode randread randwrite --output DATAPOOL
./bench_fio --target /mnt/FlashPool/bm/ --type directory --size 1G --mode randread randwrite --output FLASHPOOL

测试 2)我在 Proxmox 中创建了三个虚拟机。FlashPool每个都使用与、DataPool和不同的后备存储RAIDPool。和FlashPoolDataPool VM 在它们自己的 ZFS 数据集中运行。VM 在其RAIDPool自己的厚配置逻辑卷上运行。所有三个虚拟机都被分配了 4 个 vCPU 和 40GB 内存。

• 比较图
• 个别图表

使用以下命令生成日志文件：

./bench_fio     --target /fio     --type file     --size 1G     --mode randread randwrite     --duration 600     --output DATAPOOL_VM
./bench_fio     --target /fio     --type file     --size 1G     --mode randread randwrite     --duration 600     --output RAIDPOOL_VM
./bench_fio     --target /fio     --type file     --size 1G     --mode randread randwrite     --duration 600     --output FLASHPOOL_VM

结果：

上述 Imgur 链接中的图表都应按相同的顺序排列。两个基准测试的结果有很大不同。但是，当您考虑到虚拟化的开销时，这是可以预料的。我没想到的是，它们的行为似乎都差不多。

• 例如，此图表显示，当fio从 VM 内运行时，平均写入带宽约为 125 MB/s。RAID 1 ( ) 中的两个 NVMe SSD 不应该FlashPool大大优于SATADOM吗？相反，您可以看到FlashPoolVM 完成测试所用的时间最长，并且平均写入带宽最慢。在写入 IOPS比较中可以看到相同的情况——平均 IOPS 约为 3,000，FlashPoolVM 执行测试的时间最长！

• 抛开从虚拟机内部获取的基准，转而查看通过直接与虚拟机管理程序的存储交互所获取的基准，我们可以看到一些不同的行为。例如，在这个测试FlashPool中，和的写入带宽DataPool高达 400MB/s。但是，RAIDPool平均性能为 10MB/s 左右。巧合的是，与SATADOM? 当然，RAIDPool应该与DataPool? 鉴于它们由相同 RAID 控制器中存在的类似磁盘组成？与上面类似，Write IOPS显示了同样的离奇故事。

• 来自 Hypervisor 测试的写入延迟似乎也很不寻常。似乎比 ZFS 池的RAIDPool延迟要差十倍？但是，如果你翻到VM 测试，三个存储后端的延迟似乎集中在 300 微秒左右。这与我们在 WORST 演员阵容中看到的非常相似RAIDPool。当测试是从虚拟机而不是管理程序运行时，为什么这种平滑效果会发生在写入延迟上？为什么 ZFS 池的延迟突然变得如此糟糕，并且可以与RAIDPool?

• 查看读取带宽、IOPS 和延迟显示了类似的情况。从 VM 中进行基准测试时，尽管硬件配置大不相同，但所有指标都同样缓慢。但是，一旦从虚拟机管理程序进行基准测试，ZFS 池的性能会突然大大超过其他所有东西吗？

  • 读取带宽 1

  • 读取带宽 2

  • 读取 IOPS 1

  • 读取 IOPS 2

  • 读取延迟 1

  • 读取延迟 2

问题：

1. 这些结果是不正常的……对吧？该网站的基准测试显示970 EVO 实现了超过 900MB/s 的随机写入速度。为什么我的在管理程序上只有150MB/s而在 VM 上只有 10MB/s？当从虚拟机管理程序和虚拟机进行基准测试时，为什么这些速度如此不同？

2. 为什么RAIDPool从 Hypervisor 进行基准测试时突然变得异常缓慢？在这里，我们看到 VM 中的读取带宽平均为 20MB/s。但是，从管理程序，它改为报告 4MB/s。就像我在问题 1 中展示的基准测试一样，这些读取速度不应该接近900MB/s吗？

3. 为什么从虚拟机而不是虚拟机管理程序中进行基准测试时，ZFS 池的性能突然显着变差？例如，在这里我们可以看到平均读取 IOPS 约为 200,000，延迟低于 650us。但是，当从VM 内部进行基准测试时，我们会突然发现读取 IOPS 平均约为 2,500，延迟增加了四倍多？两种情况下的表现不应该差不多吗？

我目前正在 Proxmox VE 上设置服务器。我希望对所有驱动器进行加密，因此我选择在所有磁盘上设置 luks，并在 luks 之上设置 LVM。

现在，当我使用 dd 将数据从快速驱动器 (SSD) 传输到较慢驱动器 (HDD) 时，它以一些 GB/s 的速度启动得非常快。然后减速。然后我注意到 IO 等待高达 10%，系统负载上升到 36。一些虚拟机受此影响并冻结。

进一步的监测显示，在高 IO 等待期间dmcrypt_write使用了 99% 的 IO。所以我安装了 Netdata 来获取一些图表，并显示 HDD 正在以大约 120 到 150 MB/s 的速度写入。

一段时间后，kworkers 因耗时过长而被杀死。经过一些研究，我将dirty_ratioand调整dirty_background_ratio为较低的值，这有助于但大大降低了速度。大约 25 MB/s。这防止了巨大的冻结，但仍然导致一些滞后。这也减慢了 HDD 本身的写入速度。HDD 不再以 150 MB/s 的速度写入，而现在只能以 50 MB/s 的速度写入。

老实说，我不知道更多。有没有我还没有找到的缓存？或者是否有办法将 Linux 中的写入速度限制为应有的驱动器写入速度？

我唯一的目标是将数据从 A 复制到 B，而不必手动限制速度，也不必担心虚拟机冻结。

系统信息：

CPU： 2x Intel Xeon E5-2650 v2
RAM： 128 GB DDR3 ECC
操作系统：手动安装 Proxmox VE
内核的 D​​ebian 10： Linux 5.3.18-3-pve #1 SMP PVE 5.3.18-3 (Tue, 17 Mar 2020 16:33:19 +0100) x86_64 GNU/Linux

我让 dd 读取的 SSD 是 RAID 1 中的两个东芝企业 SAS-SSD。HDD 是一些 5400rpm 的 SATA HDD（所以......不是最快的）。它们也在 RAID 1 中。

RAID 由 DELL PERC H710 mini（嵌入式）管理。所有 RAID 都具有Adaptive Read Ahead读取策略和Write Through写入策略。

我还注意到一个看起来很奇怪的 Dirty/ Writeback 图：点击查看图像（新手保护）

请原谅我提出一个幼稚的问题。我刚刚使用 H710 在 RAID 5 上获得了 4x3T 的 R720。在服务器管理器中，我看到了 8T 的磁盘，我想这是我使用 H710 设置的虚拟磁盘；在卷中，有一个 C: 具有 2T 容量。我可以在本地磁盘 (C:) 上找到 2T 存储，但是如何访问 8T 磁盘存储？我的目标是设置数据库服务器。谢谢！

我有一个运行在戴尔 R410 服务器上的 PERC H700，它运行良好。但是，当我尝试使用戴尔软件包更新固件时，我收到一条消息“此更新软件包与您的系统不兼容...”

我尝试使用 Lifecyle Controller 进行更新，但没有获取任何更新，因此没有帮助。如何在这样的戴尔系统上更新 H700 固件？