问题[fiber](server)

搭建实验实验室集群，通过10G光纤连接接收数据的写入速度为本地写入速度的10%。

测试两台相同机器之间的传输速度；iperf3显示良好的内存到内存速度为9.43Gbits/s。磁盘（读取）到内存的传输速度为（9.35Gbit/s）：

test@rbox1:~$ iperf3 -s -B 10.0.0.21

test@rbox3:~$ iperf3 -c 10.0.0.21 -F /mnt/k8s/test.3g 
Connecting to host 10.0.0.21, port 5201
        Sent 9.00 GByte / 9.00 GByte (100%) of /mnt/k8s/test.3g
[  5]   0.00-8.26   sec  9.00 GBytes  9.35 Gbits/sec

但是发送超过 10G 的数据并写入另一台机器上的磁盘要慢一个数量级：

test@rbox1:~$ iperf3 -s 10.0.0.21 -F /tmp/foo -B 10.0.0.21

test@rbox3:~$ iperf3 -c 10.0.0.21
Connecting to host 10.0.0.21, port 5201
[  5] local 10.0.0.23 port 39970 connected to 10.0.0.21 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec   103 MBytes   864 Mbits/sec    0    428 KBytes       
[  5]   1.00-2.00   sec   100 MBytes   842 Mbits/sec    0    428 KBytes       
[  5]   2.00-3.00   sec  98.6 MBytes   827 Mbits/sec    0    428 KBytes       
[  5]   3.00-4.00   sec  99.3 MBytes   833 Mbits/sec    0    428 KBytes       
[  5]   4.00-5.00   sec  91.5 MBytes   768 Mbits/sec    0    428 KBytes       
[  5]   5.00-6.00   sec  94.4 MBytes   792 Mbits/sec    0    428 KBytes       
[  5]   6.00-7.00   sec  98.1 MBytes   823 Mbits/sec    0    428 KBytes       
[  5]   7.00-8.00   sec  91.2 MBytes   765 Mbits/sec    0    428 KBytes       
[  5]   8.00-9.00   sec  91.0 MBytes   764 Mbits/sec    0    428 KBytes       
[  5]   9.00-10.00  sec  91.5 MBytes   767 Mbits/sec    0    428 KBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec   959 MBytes   804 Mbits/sec    0             sender
        Sent  959 MByte / 9.00 GByte (10%) of /mnt/k8s/test.3g
[  5]   0.00-10.00  sec   953 MBytes   799 Mbits/sec                  receiver

NVME 驱动器能够更快地在本地dd写入（详细信息和fio测量值如下） - 对于单进程和4k/8k/10m块：fio随机写入速度为330/500/1300 MB/s

我正在尝试实现接近 NVME 驱动器的实际本地写入速度的写入速度（所以是的，很好地阐明了这个假设——我希望能够达到非常相似的速度写入单个 NVME 驱动器。网络；但我什至无法获得其中的 20%）。

在这一点上，我完全被踩住了，看不到还有什么可以尝试的——除了不同的内核/操作系统——任何指针、更正和帮助都将不胜感激。

这里有一些测量/信息/结果：

到目前为止我尝试了什么：

• 两台机器上的巨型帧（MTU 9000）并验证它们工作（使用ping -mping -M do -s 8972）

• 消除了网络交换机的干扰，我通过 2m Dumplex OM3 多模光纤电缆直接连接了两台机器（所有机器上的电缆和收发器都是相同的），并将 iperf3 服务器/客户端绑定到这些接口。结果是一样的（慢）。

• 在测试期间断开所有其他以太网/光纤电缆（以消除路由问题） - 没有变化。

• 更新了主板和光纤网卡的固件（同样，没有变化）。我还没有更新 NVME 固件 - 似乎已经是最新的了。

• 甚至尝试将 10G 卡从 PCIE 插槽 1 移动到下一个可用插槽；想知道 NVME 和 10G NIC 是否共享和最大化物理集线器通道带宽（同样，没有可测量的变化）。

发现了一些“有趣”的行为：

1. 增加并行客户端的数量会增加带宽利用率；有 1 个客户端，目标机器写入 900Mbits/sec；4 个客户端 1.26 Gbits/sec（超过 4 个并行客户端会产生不利影响）
2. 在具有 AMD Ryzen 5 3600X 和 64G RAM（相同的 NVME 驱动器 + 10G NIC）的更强大的机器上测试写入——1 个客户端可以达到 1.53Gbit/sec，4 个客户端可以达到 2.15Gbits/sec（8 个客户端可以达到 2.13Gbit/sec ）。本例流量流经 Mikrotik CS309 交换机，MTU 为 1500；更强大的机器似乎接收/写入更快
3. 测试期间没有明显的负载——这适用于小型和大型机器；2核可能是26％

编辑 06/07：

在@shodanshok 评论之后，通过 NFS 安装远程机器；以下是结果：

nfs exports: /mnt/nfs *(rw,no_subtree_check,async,insecure,no_root_squash,fsid=0)

cat /etc/mtab | grep nfs 10.0.0.21:/mnt/nfs /mnt/nfs1 nfs rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.0.0.21,mountvers=3,mountport=52335,mountproto=udp,local_lock=none,addr=10.0.0.21 0 0

fio --name=random-write --ioengine=libaio --rw=randwrite --bs=$SIZE --numjobs=1 --iodepth=1 --runtime=30 --end_fsync=1 --size=3g dd if=/dev/zero of=/mnt/nfs1/test bs=$SIZE count=$(3*1024/$SIZE)

            | fio (bs=4k)    | fio (bs=8k)    | fio (bs=1M)   | dd (bs=4k)    | dd (bs=1M)
nfs (udp)   |  153           |    210        |   984            |   907        |962
nfs (tcp)   |    157          |    205        |    947           |   946        |916

所有这些测量结果都是MB/s我很满意 1M 块非常接近 10G 连接的理论速度限制。

看起来iperf3 -F ...不是测试网络写入速度的方法；但我也会尝试让iperf3开发人员接受它。

设置详情：

每台机器都有 AMD Ryzen 3 3200G 和 8GB RAM，MPG X570 GAMING PLUS (MS-7C37) 主板。1 个 1TB NVME 驱动器（消费级 WD Blue SN550 NVMe SSD WDS100T2B0C），位于最靠近 CPU 的 M.2 插槽中。以及 PCIe 插槽中的一张 SolarFlare S7120 10G 光纤卡。

NVME 磁盘信息：

test@rbox1:~$ sudo nvme list
Node             SN                   Model                                    Namespace Usage                      Format           FW Rev  
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
/dev/nvme0n1     21062Y803544         WDC WDS100T2B0C-00PXH0                   1           1.00  TB /   1.00  TB    512   B +  0 B   211210WD

NVME磁盘写入速度（4k/8k/10M）

test@rbox1:~$ dd if=/dev/zero of=/tmp/temp.bin bs=4k count=1000
1000+0 records in
1000+0 records out
4096000 bytes (4.1 MB, 3.9 MiB) copied, 0.00599554 s, 683 MB/s


test@rbox1:~$ dd if=/dev/zero of=/tmp/temp.bin bs=8k count=1000
1000+0 records in
1000+0 records out
8192000 bytes (8.2 MB, 7.8 MiB) copied, 0.00616639 s, 1.3 GB/s


test@rbox1:~$ dd if=/dev/zero of=/tmp/temp.bin bs=10M count=1000
1000+0 records in
1000+0 records out
10485760000 bytes (10 GB, 9.8 GiB) copied, 7.00594 s, 1.5 GB/s

使用 fio-3.16 测试随机写入速度：

test@rbox1:~$ fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=4k --numjobs=1 --iodepth=1 --runtime=30 --time_based --end_fsync=1
random-write: (g=0): rw=randwrite, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=posixaio, iodepth=1

Run status group 0 (all jobs):
  WRITE: bw=313MiB/s (328MB/s), 313MiB/s-313MiB/s (328MB/s-328MB/s), io=9447MiB (9906MB), run=30174-30174msec

Disk stats (read/write):
    dm-0: ios=2/969519, merge=0/0, ticks=0/797424, in_queue=797424, util=21.42%, aggrios=2/973290, aggrmerge=0/557, aggrticks=0/803892, aggrin_queue=803987, aggrutil=21.54%
  nvme0n1: ios=2/973290, merge=0/557, ticks=0/803892, in_queue=803987, util=21.54%



test@rbox1:~$ fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=8k --numjobs=1 --iodepth=1 --runtime=30 --time_based --end_fsync=1
random-write: (g=0): rw=randwrite, bs=(R) 8192B-8192B, (W) 8192B-8192B, (T) 8192B-8192B, ioengine=posixaio, iodepth=1

Run status group 0 (all jobs):
  WRITE: bw=491MiB/s (515MB/s), 491MiB/s-491MiB/s (515MB/s-515MB/s), io=14.5GiB (15.6GB), run=30213-30213msec

Disk stats (read/write):
    dm-0: ios=1/662888, merge=0/0, ticks=0/1523644, in_queue=1523644, util=29.93%, aggrios=1/669483, aggrmerge=0/600, aggrticks=0/1556439, aggrin_queue=1556482, aggrutil=30.10%
  nvme0n1: ios=1/669483, merge=0/600, ticks=0/1556439, in_queue=1556482, util=30.10%



test@rbox1:~$ fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=10m --numjobs=1 --iodepth=1 --runtime=30 --time_based --end_fsync=1
random-write: (g=0): rw=randwrite, bs=(R) 10.0MiB-10.0MiB, (W) 10.0MiB-10.0MiB, (T) 10.0MiB-10.0MiB, ioengine=posixaio, iodepth=1

Run status group 0 (all jobs):
  WRITE: bw=1250MiB/s (1310MB/s), 1250MiB/s-1250MiB/s (1310MB/s-1310MB/s), io=36.9GiB (39.6GB), run=30207-30207msec

Disk stats (read/write):
    dm-0: ios=9/14503, merge=0/0, ticks=0/540252, in_queue=540252, util=68.96%, aggrios=9/81551, aggrmerge=0/610, aggrticks=5/3420226, aggrin_queue=3420279, aggrutil=69.16%
  nvme0n1: ios=9/81551, merge=0/610, ticks=5/3420226, in_queue=3420279, util=69.16%

核心：

test@rbox1:~$ uname -a
Linux rbox1 5.8.0-55-generic #62-Ubuntu SMP Tue Jun 1 08:21:18 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux

光纤网卡：

test@rbox1:~$ sudo sfupdate 
Solarflare firmware update utility [v8.2.2]
Copyright 2002-2020 Xilinx, Inc. 
Loading firmware images from /usr/share/sfutils/sfupdate_images

enp35s0f0np0 - MAC: 00-0F-53-3B-7D-D0
    Firmware version:   v8.0.1
    Controller type:    Solarflare SFC9100 family
    Controller version: v6.2.7.1001
    Boot ROM version:   v5.2.2.1006

The Boot ROM firmware is up to date
The controller firmware is up to date

光纤网卡的初始化和MTU设置：

test@rbox1:~$ sudo dmesg | grep sf
[    0.210521] ACPI: 10 ACPI AML tables successfully acquired and loaded
[    1.822946] sfc 0000:23:00.0 (unnamed net_device) (uninitialized): Solarflare NIC detected
[    1.824954] sfc 0000:23:00.0 (unnamed net_device) (uninitialized): Part Number : SFN7x22F
[    1.825434] sfc 0000:23:00.0 (unnamed net_device) (uninitialized): no PTP support
[    1.958282] sfc 0000:23:00.1 (unnamed net_device) (uninitialized): Solarflare NIC detected
[    2.015966] sfc 0000:23:00.1 (unnamed net_device) (uninitialized): Part Number : SFN7x22F
[    2.031379] sfc 0000:23:00.1 (unnamed net_device) (uninitialized): no PTP support
[    2.112729] sfc 0000:23:00.0 enp35s0f0np0: renamed from eth0
[    2.220517] sfc 0000:23:00.1 enp35s0f1np1: renamed from eth1
[    3.494367] [drm] VCN decode and encode initialized successfully(under DPG Mode).
[ 1748.247082] sfc 0000:23:00.0 enp35s0f0np0: link up at 10000Mbps full-duplex (MTU 1500)
[ 1809.625958] sfc 0000:23:00.1 enp35s0f1np1: link up at 10000Mbps full-duplex (MTU 9000)

主板编号：

# dmidecode 3.2
Getting SMBIOS data from sysfs.
SMBIOS 2.8 present.

Handle 0x0001, DMI type 1, 27 bytes
System Information
    Manufacturer: Micro-Star International Co., Ltd.
    Product Name: MS-7C37
    Version: 2.0

其他硬件信息（主要用于列出物理连接 - 网桥）

test@rbox1:~$ hwinfo --short
cpu:                                                            
                       AMD Ryzen 3 3200G with Radeon Vega Graphics, 1500 MHz
                       AMD Ryzen 3 3200G with Radeon Vega Graphics, 1775 MHz
                       AMD Ryzen 3 3200G with Radeon Vega Graphics, 1266 MHz
                       AMD Ryzen 3 3200G with Radeon Vega Graphics, 2505 MHz
storage:
                       ASMedia ASM1062 Serial ATA Controller
                       Sandisk Non-Volatile memory controller
                       AMD FCH SATA Controller [AHCI mode]
                       AMD FCH SATA Controller [AHCI mode]
network:
  enp35s0f1np1         Solarflare SFN7x22F-R3 Flareon Ultra 7000 Series 10G Adapter
  enp35s0f0np0         Solarflare SFN7x22F-R3 Flareon Ultra 7000 Series 10G Adapter
  enp39s0              Realtek RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller
network interface:
  br-0d1e233aeb68      Ethernet network interface
  docker0              Ethernet network interface
  vxlan.calico         Ethernet network interface
  veth0ef4ac4          Ethernet network interface
  enp35s0f0np0         Ethernet network interface
  enp35s0f1np1         Ethernet network interface
  lo                   Loopback network interface
  enp39s0              Ethernet network interface
disk:
  /dev/nvme0n1         Sandisk Disk
  /dev/sda             WDC WD5000AAKS-4
partition:
  /dev/nvme0n1p1       Partition
  /dev/nvme0n1p2       Partition
  /dev/nvme0n1p3       Partition
  /dev/sda1            Partition
bridge:
                       AMD Matisse Switch Upstream
                       AMD Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
                       AMD Raven/Raven2 Device 24: Function 3
                       AMD Raven/Raven2 PCIe GPP Bridge [6:0]
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Device 24: Function 1
                       AMD Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
                       AMD FCH LPC Bridge
                       AMD Matisse PCIe GPP Bridge
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Device 24: Function 6
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Root Complex
                       AMD Raven/Raven2 Internal PCIe GPP Bridge 0 to Bus A
                       AMD Raven/Raven2 Device 24: Function 4
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Device 24: Function 2
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Device 24: Function 0
                       AMD Raven/Raven2 Device 24: Function 7
                       AMD Raven/Raven2 PCIe GPP Bridge [6:0]
                       AMD Raven/Raven2 Device 24: Function 5

好的。所以我对纤维世界完全陌生。我一生都在使用以太网。我们正在寻求升级我们的一些基础设施，我正在考虑获得其中的一些：

10G 双 SFP+ 网卡https://www.fs.com/products/75600.html

为我们的服务器和其中几个连接它们

具有 4x10G SFP+ 上行链路的 POE 交换机https://www.fs.com/products/90132.html

但是我对这个收发器的东西有点困惑。这些 NIC 和交换机中是否只有我应该放入收发器的孔？我习惯了使用普通以太网的普通交换机，我得到了一根按我想要的速度额定的跳线，然后在每一点插入它，就这样了。

我知道我想要 10G 光纤进出我的服务器，然后 1G 以太网在其他任何地方都可以。我错过了什么？我只是无所顾忌吗？任何事物？我什至需要什么样的电线？有这么多，而使用以太网，我已经知道所有这些东西了。但我什至不知道在光纤方面要搜索什么。

我做了一些关于如何在 SFP+ 端口之间建立连接的谷歌搜索。但是，似乎有很多方法和组合可以做到这一点。有点混乱。

这就是问题所在：尝试将数据中心服务器 NIC（基本上是 HPE 562SFP+ 适配器）连接到机架中的 TOR Cisco（和 Aruba）交换机（提供 SFP+ 接口）。

我发现“收发器模块”有多种组合，例如“10GBASE SR”、“10GBASE LRM”、“单模收发器”（10GBASE-LR、10GBASE-ER 和 10GBASE-ZR）和“SFP+ Copper Transceiver” .

不太清楚如何选择光纤电缆。

1. 我可以说使用“带有 CAT 电缆的铜收发器”是一种解决方案吗？
2. 我可以选择哪些类型的光纤电缆来解决 SFP+ 连接问题？“SFP+ DAC”是否提供最简单的方法？
3. 这些光收发器与我的网卡和交换机之间是否存在兼容性问题？
4. 哪种光学收发器和电缆组合可能最便宜？

相当混乱……

我的光纤连接有一个非常奇怪的问题。

我在两个房间 A 和 B 之间有 2x2 光纤 OM4 G50/125（光纤长度约为 20m）。

我有两个交换机，一个华为 CE6810 和一个 HP 2530-48G-2sfp+（每个都有一个 sfp+ 模块）。

1）当我将交换机并排放置时，通过光纤连接它可以工作。

2）当我在 A 房间有一个交换机，而 B 房间的另一个通过光纤连接时，它不起作用

HUAWEI -- A ---------- B -- HP 

A = 房间 A，B = 房间 B，- = 光纤连接

3）当我将房间之间的一对光纤连接到另一对（所以房间 A 的两端）并连接两个交换机时，它可以工作。

HUAWEI -- A ---------- B 
                       |
     HP-- A ---------- B 

这使用相同的光纤连接，总长度只是两倍。我什至不知道如何开始寻找问题。

谢谢丹尼尔

我正在考虑为家里的商业和个人项目构建我自己的（micro-atx）路由器。

我的问题是我需要什么样的网卡才能接收光纤连接？我目前正在使用 ISP 提供的路由器，但我想更换它。

我一直在寻找，我只能找到超贵的卡（超过 150-250 欧元），我认为这些不是我需要的，所以有人能指出我正确的方向吗？

我将使用带有 iptables、dhcp、bind 等的 Linux 发行版...

这三个都是同一个东西被不同的制造商命名不一致吗？

100BASE-FX WDM 在单股光纤上使用单独的波长（1310 nm 和 1550 nm）用于 Tx 和 Rx。我找不到任何提到在单股光纤上使用 WDM 的 100BASE-FX 文档。标准 100BASE-FX 在 Tx 和 Rx 的两条独立链上使用 1310 nm。这让我相信这是 100BASE-BX 被错误地称为 100BASE-FX WDM。

100BASE-BX 在单股光纤上使用单独的波长（1310 nm 和 1550 nm）用于 Tx 和 Rx。

100BASE-BX10 显然与 100BASE-BX 的工作方式相同，但我找不到任何差异或它们是否兼容。

作为承包商使用 OM3 光纤将主通信与 3 个子通信位置连接起来，我使用三个收发器 Netgear AGM731F 配置了主交换机 Netgear GS728TS，配置了将在另一端使用的交换机（GS110TP），然后将所有东西连接到光纤接线板。好吧，什么都没有发生。我测试了我插入光纤配线架的两条电缆 - 一切都很好，收发器也很好。我回到了承包商那里，但他们非常相信一切都会好起来的。是否有任何诊断、检查、测试可以运行以检查布线是否完美？如果有一些微小而明显的阻碍连接的东西，我不想强​​迫他们去现场。

我在现场有以下四个连接，需要让它们活跃起来，但我的谷歌搜索和维基百科并没有清楚地显示我拥有哪种类型的连接器。

我认为这是双工 LC 连接器，但图片似乎显示了另一种塑料紧固件？

我正在与我的一个朋友讨论光纤，他说他有在同一设备中同时支持单模和多模光纤的 GBIC。起初我想，不可能，那不可能，那没有任何意义。

我的想法是：

1. 单模使用激光，而多模使用 LED 来生成信号。这将需要两个截然不同的设备来生成信号。

2. 单模和多模之间的核心尺寸截然不同。SM 为 9 微米，多模为 62.5 或 50 微米。

3. 光接收器（或它们使用的任何东西）会不会非常不同并且在处理两种不同类型的信号时遇到麻烦。

4. 从管理的角度来看，这对我来说并没有多大意义。我的意思是我理解插入一些东西并让它无论如何都能正常工作的想法，但是插入这些东西的任何人都应该知道它们之间的区别以及如何识别哪种光纤是哪种类型。将这两种不同的技术集成到一个小型 GBIC 中不是成本更高吗？

因此，我查阅了它，根据 CISCO 的说法，Cisco GLC LH SM SFP GBIC 是“能够同时使用单模和多模光纤”的示例。所以我想我错了。

我的问题是，这是真的吗，有人使用过这些 MM/SM GBIC 之一吗？他们什么时候开始制作这些，为什么开始制作这些？

我正在计算建筑物中已具有多模光纤的网络的成本。它完全未使用，需要在多个位置进行切换才能构建一个工作系统。

我想确保我完全理解连接它所涉及的内容。这个清单包括在内吗？

1. 1000base sx 到 rj45 转换器 - 这让我从光纤到 cat-5(**)
2. SFP 样式切换 - 尽管有供应商
3. 现有光纤两端的 GBIC 连接到一端的适配器并在另一端切换

(**) 此时的某种 PC

如果我在一端提供互联网接入点，我可以使用这样的系统连接到每个 cat-5 位置吗？假设我有足够的 IP 地址来覆盖。