Ealrann's questions

我正在使用 NFS 通过网络传输大文件 (78GB)，但传输最终限制为 6 Gbps（在 2x10Gb NIC 上）。我暂时找不到瓶颈。这是我的设置：

1台服务器

• MB: Supermicro X10DRH-C (pcie 3.0), 只有一个 cpu
• 网卡：2 个 10Gb（英特尔 X710-T2L）
• 64GB DDR4 (2400Mhz)
• HBA：LSI 9311-8i => 2 mini SAS hd 连接到 SAS 12Gb 背板
• 12 HDD：消费级，SATA。Toshiba MG09 18TB（因此 SAS 限制为每条线路 6 Gbps）

NFS /etc/exports：xxx（rw、async、fsid=0、no_subtree_check、crossmnt）。nfsd 24 个线程

我尝试将dd大文件写入所有磁盘，没有减速，它们都以 200MB/s 的速度写入

2个客户

NFS 配置：异步。

最大传输单位：9000。

• threadripper 3970X，192GB 内存，从 4 NVME gen 3 的 RAID0 复制
• 2 xeon E5，512GB 内存，从 4 个 SSD 的 RAID0 复制

客户端在自己的网络（10.1.0.0/24 和 10.1.2.0/24）上直接连接到服务器（无交换机）。

我尝试使用 ring buffer 和 flow control 来玩ethtool，但它没有改变任何东西。没有高 CPU 负载。

我通常同时将 6-8 个文件复制到 6-8 个不同的磁盘上 => 所以我期望平均传输速率为 9-12Gbps。网络有时会在一个接口上达到超过 9 Gbps 的峰值，持续几秒钟，但最终在两个接口上稳定在 3Gbps 左右。我想这是由于服务器内存中的缓存

我需要一些帮助来找到瓶颈。

编辑：iperf结果：

iperf -w 2m结果：

我正在生成最终通过 NFS v4.2 在 10Gb 网络上复制到服务器的数据（100GB 文件）。这些文件存储在许多 HDD 上，采用 XFS 格式（每个目标驱动器一个副本）。

当复制任务正在运行时：

• 客户端内存使用量很大（可能超过 64GB，它需要尽可能多的内存）。
• 但是服务器上几乎没有使用内存。

我想减少客户端的内存使用量，因为它们会不断产生数据并且会减慢它们的速度。相反，服务器主要是未使用的。

我想由于服务器上的 HDD 速度很慢，客户端会缓冲尽可能多的数据以减少副本阻塞。我无法更改硬件设置。

有没有办法强制服务器缓存更多数据？ 我宁愿优先使用服务器内存而不是客户端内存。

NFS 配置：

10.0.3.1:/          /mnt/field  nfs  nfsvers=4.2,noatime,nodiratime,_netdev,noauto,x-systemd.automount,x-systemd.mount-timeout=10 0 0

/etc/exports：

/mnt        10.0.0.0/16(rw,async,fsid=0,no_subtree_check,crossmnt)

服务器上的网卡配置：

MTU 9000
rinbuffer tx 512, rx 1024

客户端网卡配置：

MTU 9000
rinbuffer tx 1024, rx 512

编辑： 根据要求，/proc/meminfo：

客户端服务器 - - - -------------------------

此客户端上的内存使用情况的监视器：

网络使用：

注意：客户端使用大 tmpfs (100GB) 来计算。我认为这个 tmpfs 永远不会从可用内存计数中减去。

编辑2：

网络和内存使用之间的相关性在另一个客户端上更为明显（我应该从那个开始）。此客户端不使用任何 tmpfs。