问题[nvme](server)

我正在尝试使用 GCP 创建一个实例。以下为规格（其余设置为默认）：

Region: us-west1-b
GPU type: NVIDIA Tesla V100
Number of GPUs: 1
Series: N1
Machine type: Custom (12 vCPUs, 64GB memory)
Booting disk: Ubuntu 18.04 LTS balanced persistent disk 50GB
Add local SSD: 16 NVMes (Each SSD is 375GB, so total of 375GB * 16 = 6000GB)

似乎添加本地 SSD 有问题。错误消息说：

Invalid value for field 'resource.disks[1].initializeParams.diskSizeGb': '6000'. Invalid local SSD size in GB: 6000

但是，我不明白为什么无法创建此实例。当我用谷歌搜索错误消息时，没有什么可说的。是否有任何线索表明该错误消息表示什么，以及如何修复它？

有没有人尝试过戴尔 PowerEdge R240（或一般第 14 代）是否支持从通过某些（非戴尔）PCIe-M.2 适配器卡插入的 M.2 NVMe 磁盘引导？不幸的是，戴尔手册没有提到它。

我知道旧型号（例如 R230/R330）在此类设置方面存在问题，但旧型号通常也没有对 NMVe 磁盘的任何官方支持。也许有人已经尝试过了？

在我拥有的带有 HDD 或 SSD 的服务器上，我有一个定期运行的 cron：

/usr/sbin/smartctl --test=short/long /dev/sd1

（对于每个磁盘）

当它运行时，它只是查看 的输出/usr/sbin/smartctl -c /dev/sd1，循环直到它不再包含：

[0-9]+% of test remaining.

然后检查它是否在没有错误的情况下完成：

(   0)  The previous self-test routine completed

但是，从 7.0 版开始，它似乎smartctl还不支持对 NVMe 的测试，并且按照：https ://www.smartmontools.org/wiki/NVMe_Support

它确实说

smartd 守护进程跟踪运行状况 (-H)、错误计数 (-l error) 和温度 (-W DIFF,INFO,CRIT)

但实际运行测试的是什么？除非我们运行短/长测试，否则我不确定是否输出-H和更新？-l

我也读过关于nvme-cli，但我似乎没有找到用它在磁盘上运行健康测试的方法。

有任何想法吗？

在这里使用 CentOS 7。

搭建实验实验室集群，通过10G光纤连接接收数据的写入速度为本地写入速度的10%。

测试两台相同机器之间的传输速度；iperf3显示良好的内存到内存速度为9.43Gbits/s。磁盘（读取）到内存的传输速度为（9.35Gbit/s）：

test@rbox1:~$ iperf3 -s -B 10.0.0.21

test@rbox3:~$ iperf3 -c 10.0.0.21 -F /mnt/k8s/test.3g 
Connecting to host 10.0.0.21, port 5201
        Sent 9.00 GByte / 9.00 GByte (100%) of /mnt/k8s/test.3g
[  5]   0.00-8.26   sec  9.00 GBytes  9.35 Gbits/sec

但是发送超过 10G 的数据并写入另一台机器上的磁盘要慢一个数量级：

test@rbox1:~$ iperf3 -s 10.0.0.21 -F /tmp/foo -B 10.0.0.21

test@rbox3:~$ iperf3 -c 10.0.0.21
Connecting to host 10.0.0.21, port 5201
[  5] local 10.0.0.23 port 39970 connected to 10.0.0.21 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec   103 MBytes   864 Mbits/sec    0    428 KBytes       
[  5]   1.00-2.00   sec   100 MBytes   842 Mbits/sec    0    428 KBytes       
[  5]   2.00-3.00   sec  98.6 MBytes   827 Mbits/sec    0    428 KBytes       
[  5]   3.00-4.00   sec  99.3 MBytes   833 Mbits/sec    0    428 KBytes       
[  5]   4.00-5.00   sec  91.5 MBytes   768 Mbits/sec    0    428 KBytes       
[  5]   5.00-6.00   sec  94.4 MBytes   792 Mbits/sec    0    428 KBytes       
[  5]   6.00-7.00   sec  98.1 MBytes   823 Mbits/sec    0    428 KBytes       
[  5]   7.00-8.00   sec  91.2 MBytes   765 Mbits/sec    0    428 KBytes       
[  5]   8.00-9.00   sec  91.0 MBytes   764 Mbits/sec    0    428 KBytes       
[  5]   9.00-10.00  sec  91.5 MBytes   767 Mbits/sec    0    428 KBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec   959 MBytes   804 Mbits/sec    0             sender
        Sent  959 MByte / 9.00 GByte (10%) of /mnt/k8s/test.3g
[  5]   0.00-10.00  sec   953 MBytes   799 Mbits/sec                  receiver

NVME 驱动器能够更快地在本地dd写入（详细信息和fio测量值如下） - 对于单进程和4k/8k/10m块：fio随机写入速度为330/500/1300 MB/s

我正在尝试实现接近 NVME 驱动器的实际本地写入速度的写入速度（所以是的，很好地阐明了这个假设——我希望能够达到非常相似的速度写入单个 NVME 驱动器。网络；但我什至无法获得其中的 20%）。

在这一点上，我完全被踩住了，看不到还有什么可以尝试的——除了不同的内核/操作系统——任何指针、更正和帮助都将不胜感激。

这里有一些测量/信息/结果：

到目前为止我尝试了什么：

• 两台机器上的巨型帧（MTU 9000）并验证它们工作（使用ping -mping -M do -s 8972）

• 消除了网络交换机的干扰，我通过 2m Dumplex OM3 多模光纤电缆直接连接了两台机器（所有机器上的电缆和收发器都是相同的），并将 iperf3 服务器/客户端绑定到这些接口。结果是一样的（慢）。

• 在测试期间断开所有其他以太网/光纤电缆（以消除路由问题） - 没有变化。

• 更新了主板和光纤网卡的固件（同样，没有变化）。我还没有更新 NVME 固件 - 似乎已经是最新的了。

• 甚至尝试将 10G 卡从 PCIE 插槽 1 移动到下一个可用插槽；想知道 NVME 和 10G NIC 是否共享和最大化物理集线器通道带宽（同样，没有可测量的变化）。

发现了一些“有趣”的行为：

1. 增加并行客户端的数量会增加带宽利用率；有 1 个客户端，目标机器写入 900Mbits/sec；4 个客户端 1.26 Gbits/sec（超过 4 个并行客户端会产生不利影响）
2. 在具有 AMD Ryzen 5 3600X 和 64G RAM（相同的 NVME 驱动器 + 10G NIC）的更强大的机器上测试写入——1 个客户端可以达到 1.53Gbit/sec，4 个客户端可以达到 2.15Gbits/sec（8 个客户端可以达到 2.13Gbit/sec ）。本例流量流经 Mikrotik CS309 交换机，MTU 为 1500；更强大的机器似乎接收/写入更快
3. 测试期间没有明显的负载——这适用于小型和大型机器；2核可能是26％

编辑 06/07：

在@shodanshok 评论之后，通过 NFS 安装远程机器；以下是结果：

nfs exports: /mnt/nfs *(rw,no_subtree_check,async,insecure,no_root_squash,fsid=0)

cat /etc/mtab | grep nfs 10.0.0.21:/mnt/nfs /mnt/nfs1 nfs rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.0.0.21,mountvers=3,mountport=52335,mountproto=udp,local_lock=none,addr=10.0.0.21 0 0

fio --name=random-write --ioengine=libaio --rw=randwrite --bs=$SIZE --numjobs=1 --iodepth=1 --runtime=30 --end_fsync=1 --size=3g dd if=/dev/zero of=/mnt/nfs1/test bs=$SIZE count=$(3*1024/$SIZE)

            | fio (bs=4k)    | fio (bs=8k)    | fio (bs=1M)   | dd (bs=4k)    | dd (bs=1M)
nfs (udp)   |  153           |    210        |   984            |   907        |962
nfs (tcp)   |    157          |    205        |    947           |   946        |916

所有这些测量结果都是MB/s我很满意 1M 块非常接近 10G 连接的理论速度限制。

看起来iperf3 -F ...不是测试网络写入速度的方法；但我也会尝试让iperf3开发人员接受它。

设置详情：

每台机器都有 AMD Ryzen 3 3200G 和 8GB RAM，MPG X570 GAMING PLUS (MS-7C37) 主板。1 个 1TB NVME 驱动器（消费级 WD Blue SN550 NVMe SSD WDS100T2B0C），位于最靠近 CPU 的 M.2 插槽中。以及 PCIe 插槽中的一张 SolarFlare S7120 10G 光纤卡。

NVME 磁盘信息：

test@rbox1:~$ sudo nvme list
Node             SN                   Model                                    Namespace Usage                      Format           FW Rev  
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
/dev/nvme0n1     21062Y803544         WDC WDS100T2B0C-00PXH0                   1           1.00  TB /   1.00  TB    512   B +  0 B   211210WD

NVME磁盘写入速度（4k/8k/10M）

test@rbox1:~$ dd if=/dev/zero of=/tmp/temp.bin bs=4k count=1000
1000+0 records in
1000+0 records out
4096000 bytes (4.1 MB, 3.9 MiB) copied, 0.00599554 s, 683 MB/s


test@rbox1:~$ dd if=/dev/zero of=/tmp/temp.bin bs=8k count=1000
1000+0 records in
1000+0 records out
8192000 bytes (8.2 MB, 7.8 MiB) copied, 0.00616639 s, 1.3 GB/s


test@rbox1:~$ dd if=/dev/zero of=/tmp/temp.bin bs=10M count=1000
1000+0 records in
1000+0 records out
10485760000 bytes (10 GB, 9.8 GiB) copied, 7.00594 s, 1.5 GB/s

使用 fio-3.16 测试随机写入速度：

test@rbox1:~$ fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=4k --numjobs=1 --iodepth=1 --runtime=30 --time_based --end_fsync=1
random-write: (g=0): rw=randwrite, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=posixaio, iodepth=1

Run status group 0 (all jobs):
  WRITE: bw=313MiB/s (328MB/s), 313MiB/s-313MiB/s (328MB/s-328MB/s), io=9447MiB (9906MB), run=30174-30174msec

Disk stats (read/write):
    dm-0: ios=2/969519, merge=0/0, ticks=0/797424, in_queue=797424, util=21.42%, aggrios=2/973290, aggrmerge=0/557, aggrticks=0/803892, aggrin_queue=803987, aggrutil=21.54%
  nvme0n1: ios=2/973290, merge=0/557, ticks=0/803892, in_queue=803987, util=21.54%



test@rbox1:~$ fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=8k --numjobs=1 --iodepth=1 --runtime=30 --time_based --end_fsync=1
random-write: (g=0): rw=randwrite, bs=(R) 8192B-8192B, (W) 8192B-8192B, (T) 8192B-8192B, ioengine=posixaio, iodepth=1

Run status group 0 (all jobs):
  WRITE: bw=491MiB/s (515MB/s), 491MiB/s-491MiB/s (515MB/s-515MB/s), io=14.5GiB (15.6GB), run=30213-30213msec

Disk stats (read/write):
    dm-0: ios=1/662888, merge=0/0, ticks=0/1523644, in_queue=1523644, util=29.93%, aggrios=1/669483, aggrmerge=0/600, aggrticks=0/1556439, aggrin_queue=1556482, aggrutil=30.10%
  nvme0n1: ios=1/669483, merge=0/600, ticks=0/1556439, in_queue=1556482, util=30.10%



test@rbox1:~$ fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=10m --numjobs=1 --iodepth=1 --runtime=30 --time_based --end_fsync=1
random-write: (g=0): rw=randwrite, bs=(R) 10.0MiB-10.0MiB, (W) 10.0MiB-10.0MiB, (T) 10.0MiB-10.0MiB, ioengine=posixaio, iodepth=1

Run status group 0 (all jobs):
  WRITE: bw=1250MiB/s (1310MB/s), 1250MiB/s-1250MiB/s (1310MB/s-1310MB/s), io=36.9GiB (39.6GB), run=30207-30207msec

Disk stats (read/write):
    dm-0: ios=9/14503, merge=0/0, ticks=0/540252, in_queue=540252, util=68.96%, aggrios=9/81551, aggrmerge=0/610, aggrticks=5/3420226, aggrin_queue=3420279, aggrutil=69.16%
  nvme0n1: ios=9/81551, merge=0/610, ticks=5/3420226, in_queue=3420279, util=69.16%

核心：

test@rbox1:~$ uname -a
Linux rbox1 5.8.0-55-generic #62-Ubuntu SMP Tue Jun 1 08:21:18 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux

光纤网卡：

test@rbox1:~$ sudo sfupdate 
Solarflare firmware update utility [v8.2.2]
Copyright 2002-2020 Xilinx, Inc. 
Loading firmware images from /usr/share/sfutils/sfupdate_images

enp35s0f0np0 - MAC: 00-0F-53-3B-7D-D0
    Firmware version:   v8.0.1
    Controller type:    Solarflare SFC9100 family
    Controller version: v6.2.7.1001
    Boot ROM version:   v5.2.2.1006

The Boot ROM firmware is up to date
The controller firmware is up to date

光纤网卡的初始化和MTU设置：

test@rbox1:~$ sudo dmesg | grep sf
[    0.210521] ACPI: 10 ACPI AML tables successfully acquired and loaded
[    1.822946] sfc 0000:23:00.0 (unnamed net_device) (uninitialized): Solarflare NIC detected
[    1.824954] sfc 0000:23:00.0 (unnamed net_device) (uninitialized): Part Number : SFN7x22F
[    1.825434] sfc 0000:23:00.0 (unnamed net_device) (uninitialized): no PTP support
[    1.958282] sfc 0000:23:00.1 (unnamed net_device) (uninitialized): Solarflare NIC detected
[    2.015966] sfc 0000:23:00.1 (unnamed net_device) (uninitialized): Part Number : SFN7x22F
[    2.031379] sfc 0000:23:00.1 (unnamed net_device) (uninitialized): no PTP support
[    2.112729] sfc 0000:23:00.0 enp35s0f0np0: renamed from eth0
[    2.220517] sfc 0000:23:00.1 enp35s0f1np1: renamed from eth1
[    3.494367] [drm] VCN decode and encode initialized successfully(under DPG Mode).
[ 1748.247082] sfc 0000:23:00.0 enp35s0f0np0: link up at 10000Mbps full-duplex (MTU 1500)
[ 1809.625958] sfc 0000:23:00.1 enp35s0f1np1: link up at 10000Mbps full-duplex (MTU 9000)

主板编号：

# dmidecode 3.2
Getting SMBIOS data from sysfs.
SMBIOS 2.8 present.

Handle 0x0001, DMI type 1, 27 bytes
System Information
    Manufacturer: Micro-Star International Co., Ltd.
    Product Name: MS-7C37
    Version: 2.0

其他硬件信息（主要用于列出物理连接 - 网桥）

test@rbox1:~$ hwinfo --short
cpu:                                                            
                       AMD Ryzen 3 3200G with Radeon Vega Graphics, 1500 MHz
                       AMD Ryzen 3 3200G with Radeon Vega Graphics, 1775 MHz
                       AMD Ryzen 3 3200G with Radeon Vega Graphics, 1266 MHz
                       AMD Ryzen 3 3200G with Radeon Vega Graphics, 2505 MHz
storage:
                       ASMedia ASM1062 Serial ATA Controller
                       Sandisk Non-Volatile memory controller
                       AMD FCH SATA Controller [AHCI mode]
                       AMD FCH SATA Controller [AHCI mode]
network:
  enp35s0f1np1         Solarflare SFN7x22F-R3 Flareon Ultra 7000 Series 10G Adapter
  enp35s0f0np0         Solarflare SFN7x22F-R3 Flareon Ultra 7000 Series 10G Adapter
  enp39s0              Realtek RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller
network interface:
  br-0d1e233aeb68      Ethernet network interface
  docker0              Ethernet network interface
  vxlan.calico         Ethernet network interface
  veth0ef4ac4          Ethernet network interface
  enp35s0f0np0         Ethernet network interface
  enp35s0f1np1         Ethernet network interface
  lo                   Loopback network interface
  enp39s0              Ethernet network interface
disk:
  /dev/nvme0n1         Sandisk Disk
  /dev/sda             WDC WD5000AAKS-4
partition:
  /dev/nvme0n1p1       Partition
  /dev/nvme0n1p2       Partition
  /dev/nvme0n1p3       Partition
  /dev/sda1            Partition
bridge:
                       AMD Matisse Switch Upstream
                       AMD Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
                       AMD Raven/Raven2 Device 24: Function 3
                       AMD Raven/Raven2 PCIe GPP Bridge [6:0]
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Device 24: Function 1
                       AMD Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
                       AMD FCH LPC Bridge
                       AMD Matisse PCIe GPP Bridge
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Device 24: Function 6
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Root Complex
                       AMD Raven/Raven2 Internal PCIe GPP Bridge 0 to Bus A
                       AMD Raven/Raven2 Device 24: Function 4
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Device 24: Function 2
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Device 24: Function 0
                       AMD Raven/Raven2 Device 24: Function 7
                       AMD Raven/Raven2 PCIe GPP Bridge [6:0]
                       AMD Raven/Raven2 Device 24: Function 5

我正在设置我的数据库生产环境，我有一些问题。服务器有两个 NVMe 磁盘，但它们不能用于硬件 RAID 控制器。我需要带有 NVMe 的 RAID 吗？

在生产中将它们用作JBOD就足够了吗？或者我应该使用软件 RAID 1/0（这是 MongoDB 建议的 RAID）？否则，我必须移除 NVMe 驱动器并订购 SATA 接口以在 RAID 硬件控制器中使用。

我正在尝试将所有中断移至核心 0-3，以保持其余核心空闲，以实现高速、低延迟的虚拟化。

我写了一个快速脚本来将 IRQ 亲和性设置为 0-3：

#!/bin/bash

while IFS= read -r LINE; do
    echo "0-3 -> \"$LINE\""
    sudo bash -c "echo 0-3 > \"$LINE\""
done <<< "$(find /proc/irq/ -name smp_affinity_list)"

这似乎适用于 USB 设备和网络设备，但不适用于 NVME 设备。他们都产生这个错误：

bash: line 1: echo: write error: Input/output error

他们顽固地继续在我几乎所有的核心上均匀地产生中断。

如果我检查这些设备的当前亲和力：

$ cat /proc/irq/81/smp_affinity_list 
0-1,16-17
$ cat /proc/irq/82/smp_affinity_list
2-3,18-19
$ cat /proc/irq/83/smp_affinity_list
4-5,20-21
$ cat /proc/irq/84/smp_affinity_list
6-7,22-23
...

似乎“某事”正在完全控制跨核心传播 IRQ，而不是让我改变它。

将这些移到其他内核是完全关键的，因为我在这些内核上的虚拟机中执行大量 IO，并且 NVME 驱动器正在产生大量的中断负载。这不是 Windows，我应该能够决定我的机器做什么。

什么是控制这些设备的 IRQ 亲和性以及如何覆盖它？

我在 Gigabyte Auros X570 Master 主板上使用 Ryzen 3950X CPU，3 个 NVME 驱动器连接到主板上的 M.2 端口。

（更新：我现在使用的是 5950X，仍然有完全相同的问题）

内核：5.12.2-arch1-1

lspci -v与 NVME 相关的输出：

01:00.0 Non-Volatile memory controller: Phison Electronics Corporation E12 NVMe Controller (rev 01) (prog-if 02 [NVM Express])
    Subsystem: Phison Electronics Corporation E12 NVMe Controller
    Flags: bus master, fast devsel, latency 0, IRQ 45, NUMA node 0, IOMMU group 14
    Memory at fc100000 (64-bit, non-prefetchable) [size=16K]
    Capabilities: [80] Express Endpoint, MSI 00
    Capabilities: [d0] MSI-X: Enable+ Count=9 Masked-
    Capabilities: [e0] MSI: Enable- Count=1/8 Maskable- 64bit+
    Capabilities: [f8] Power Management version 3
    Capabilities: [100] Latency Tolerance Reporting
    Capabilities: [110] L1 PM Substates
    Capabilities: [128] Alternative Routing-ID Interpretation (ARI)
    Capabilities: [200] Advanced Error Reporting
    Capabilities: [300] Secondary PCI Express
    Kernel driver in use: nvme

04:00.0 Non-Volatile memory controller: Phison Electronics Corporation E12 NVMe Controller (rev 01) (prog-if 02 [NVM Express])
    Subsystem: Phison Electronics Corporation E12 NVMe Controller
    Flags: bus master, fast devsel, latency 0, IRQ 24, NUMA node 0, IOMMU group 25
    Memory at fbd00000 (64-bit, non-prefetchable) [size=16K]
    Capabilities: [80] Express Endpoint, MSI 00
    Capabilities: [d0] MSI-X: Enable+ Count=9 Masked-
    Capabilities: [e0] MSI: Enable- Count=1/8 Maskable- 64bit+
    Capabilities: [f8] Power Management version 3
    Capabilities: [100] Latency Tolerance Reporting
    Capabilities: [110] L1 PM Substates
    Capabilities: [128] Alternative Routing-ID Interpretation (ARI)
    Capabilities: [200] Advanced Error Reporting
    Capabilities: [300] Secondary PCI Express
    Kernel driver in use: nvme

05:00.0 Non-Volatile memory controller: Phison Electronics Corporation E12 NVMe Controller (rev 01) (prog-if 02 [NVM Express])
    Subsystem: Phison Electronics Corporation E12 NVMe Controller
    Flags: bus master, fast devsel, latency 0, IRQ 40, NUMA node 0, IOMMU group 26
    Memory at fbc00000 (64-bit, non-prefetchable) [size=16K]
    Capabilities: [80] Express Endpoint, MSI 00
    Capabilities: [d0] MSI-X: Enable+ Count=9 Masked-
    Capabilities: [e0] MSI: Enable- Count=1/8 Maskable- 64bit+
    Capabilities: [f8] Power Management version 3
    Capabilities: [100] Latency Tolerance Reporting
    Capabilities: [110] L1 PM Substates
    Capabilities: [128] Alternative Routing-ID Interpretation (ARI)
    Capabilities: [200] Advanced Error Reporting
    Capabilities: [300] Secondary PCI Express
    Kernel driver in use: nvme

$ dmesg | grep -i nvme
[    2.042888] nvme nvme0: pci function 0000:01:00.0
[    2.042912] nvme nvme1: pci function 0000:04:00.0
[    2.042941] nvme nvme2: pci function 0000:05:00.0
[    2.048103] nvme nvme0: missing or invalid SUBNQN field.
[    2.048109] nvme nvme2: missing or invalid SUBNQN field.
[    2.048109] nvme nvme1: missing or invalid SUBNQN field.
[    2.048112] nvme nvme0: Shutdown timeout set to 10 seconds
[    2.048120] nvme nvme1: Shutdown timeout set to 10 seconds
[    2.048127] nvme nvme2: Shutdown timeout set to 10 seconds
[    2.049578] nvme nvme0: 8/0/0 default/read/poll queues
[    2.049668] nvme nvme1: 8/0/0 default/read/poll queues
[    2.049716] nvme nvme2: 8/0/0 default/read/poll queues
[    2.051211]  nvme1n1: p1
[    2.051260]  nvme2n1: p1
[    2.051577]  nvme0n1: p1 p2

我只是有一个与磁盘 DWPD 相关的问题，我很难在谷歌中找到答案。

考虑这种情况：

• 1 个服务器，只有 1 个 1TB 的 nvme 磁盘（没有 SATA，没有 Optane，没有 SD 卡，只有 1 个磁盘）
• VMWare ESX 6.7
• 假设我创建了 1 个分配了 200GB 磁盘空间的 VM

我的问题是：如果我整天在这 200GB 上写，nvme 磁盘内部固件是否会“足够智能”以将写分散到所有磁盘空间（分配的 200GB + 未分配的 800GB），或者这些写总是发生在相同的“物理”200GB 单元？

我问是因为如果答案是“它将在相同的 200GB 上写入”，那么 TBW 将达到“快 5 倍”（写入相同的 200GB 而不是总的 1000GB），我需要考虑到这一点为每个 VM 分配磁盘空间时的考虑

希望我在解释自己。

谢谢！

fio在具有以下设置的新服务器上运行了几个测试：

• 1 个三星 PM981a 512GB M.2 NVMe 驱动器。
  • Proxmox 在 root 上安装了 ZFS。
  • 1x VM 创建了 30GB 空间并安装了 Debian 10。
• 6 个 Intel P4510 2TB U.2 NVMe 驱动器通过 OCuLink 连接到 6 个专用 PCIe 4.0 x4 通道。
  • 直接连接到单个 VM。
  • 在 VM 中配置为 RAID10（条带化 3 个镜像）。
• 主板/CPU/内存：华硕KRPA-U16/EPYC 7302P/8x32GB DDR4-3200

这些磁盘的顺序读取速度高达 3,200 MB/s 。从理论上讲，最大带宽应为 19.2 GB/s。

在 ZFS RAID 上运行我得到的结果在 ~2,000 - 3,000 MB/s 范围内（例如，在运行 Crystal Disk Mark 时，在没有 ZFS 或任何其他开销的情况下进行测试时，磁盘能够达到 3,200 MB/ fiosnumjobs=1在直接安装在其中一个磁盘上的 Windows 中）：

fio --name=Test --size=100G --bs=1M --iodepth=8 --numjobs=1 --rw=read --filename=fio.test
=>
Run status group 0 (all jobs):
   READ: bw=2939MiB/s (3082MB/s), 2939MiB/s-2939MiB/s (3082MB/s-3082MB/s), io=100GiB (107GB), run=34840-34840msec

考虑到一切似乎都是合理的。也可能受 CPU 限制，因为其中一个内核将处于 100% 负载（其中一些用于 ZFS 进程）。

当我增加到numjobs8-10 时，事情变得有点奇怪：

fio --name=Test --size=100G --bs=1M --iodepth=8 --numjobs=10 --rw=read --filename=fio.test
=>
Run status group 0 (all jobs):
   READ: bw=35.5GiB/s (38.1GB/s), 3631MiB/s-3631MiB/s (3808MB/s-3808MB/s), io=1000GiB (1074GB), run=28198-28199msec

38.1 GB/s - 远高于理论最大带宽。

这里的解释究竟是什么？

评论补充：

虚拟机配置：

iotop测试期间：

我有一个 HP DL360gen9 8sff

机器上运行的应用程序正在使当前磁盘饱和，所有英特尔企业 SSD 磁盘。

我想添加 M.2 NVMe 驱动器，但我不知道应该购买和安装哪个支持套件。

在用户手册中，我可以看到两个具有不同序列号的套件：764628-B21 和 817676-B21

在Dl360gen9 手册中似乎都可以安装：

但是没有地方说明这些是否是 M.2。

另外，我可以看到还有另一个套件 878783-B21，它被列为“HPE Universal SATA HHHL 3yr Wty M.2 Kit”，没有任何兼容性列表。

从图片上看似乎是 M.2 PCIe 板，但它可以与 DL360 Gen9 一起使用吗？

顺便说一句，我们有一些较旧的 DL360 gen8，如果该板真的是通用的，我们是否也可以将它安装在 gen8 服务器上？

HPE 通用 SATA HHHL 3 年 Wty M.2 套件

提前感谢您的帮助！

我已将 PNY XLR8 500GB M.2 NvMe 驱动器插入到 Delock PCIe 卡中，并将其卡在我的 Poweredge r630 的 Riser 3 中 - 尽管驱动器没有出现在 BIOS 中的任何位置，但我可以从 USB 启动 Ubuntu 安装程序拇指驱动器和安装看到驱动器就好了。它安装成功，重新启动后，我的 UEFI 启动菜单“ubuntu”中有一个新选项 - 但它是灰色的！

如果我进入系统设置 - >引导设置，我可以看到系统重新识别驱动器/操作系统，但它被列为“不可用：ubuntu”

如果我试图告诉系统从这个驱动器启动，它会说“从 ubuntu 启动 - 启动失败”

UEFI 怎么能很好地看到已安装的操作系统/驱动器（看起来）但无法从它启动？有什么我可以在某个地方切换来完成这项工作的吗？

我在 Reddit 上找到了一篇帖子，其中一位用户遇到了同样的问题，但他没有提供任何解决方案，除了一些模糊的建议，即可以先尝试从 USB 记忆棒启动，然后将启动移交给 NvMe 驱动器——但这将如何运作？我不确定。

欢迎任何建议！