问题[infiniband](server)

我正在尝试将我的本地网络设置升级到 40G，但我似乎遇到了障碍。我有从ebay上下来的 Mellanox ConnectX-3 VPI CX353A 网卡，更新了他们的固件并安装了他们的驱动程序。在切换收发器/电缆并购买重新编码电缆的工具后，我仍然无法找到问题。我相信问题在于驱动程序，他们看到收发器已连接但似乎不愿意使用它。

我的硬件：

https://pastebin.com/ucdYv1rb

MLNX OFED 驱动程序版本：4.9-3.1.5

网线/收发器：

https://www.fs.com/products/30775.html

https://www.fs.com/products/69907.html

定制与我的 MikroTik CRS354-48G-4S+2Q+RM 开关一起使用。我可以更改电缆应使用的供应商，我有 FS 电缆的重新编码工具。

我发现的各种 InfiniBand 命令的输出：https ://pastebin.com/8ZWb7wjb

ethtool -m 的输出

root@testserver:/home/test# ethtool -m enp1s0
        Identifier                                : 0x0d (QSFP+)
        Extended identifier                       : 0x00
        Extended identifier description           : 1.5W max. Power consumption
        Extended identifier description           : No CDR in TX, No CDR in RX
        Extended identifier description           : High Power Class (> 3.5 W) not enabled
        Connector                                 : 0x23 (No separable connector)
        Transceiver codes                         : 0x08 0x00 0x30 0x00 0x40 0x00 0x80 0xd5
        Transceiver type                          : 40G Ethernet: 40G Base-CR4
        Transceiver type                          : SAS 6.0G
        Transceiver type                          : SAS 3.0G
        Transceiver type                          : FC: short distance (S)
        Transceiver type                          : FC: Twin Axial Pair (TW)
        Transceiver type                          : FC: 1200 MBytes/sec
        Transceiver type                          : FC: 800 MBytes/sec
        Transceiver type                          : FC: 400 MBytes/sec
        Transceiver type                          : FC: 200 MBytes/sec
        Transceiver type                          : FC: 100 MBytes/sec
        Encoding                                  : 0x00 (unspecified)
        BR, Nominal                               : 10300Mbps
        Rate identifier                           : 0x00
        Length (SMF,km)                           : 0km
        Length (OM3 50um)                         : 0m
        Length (OM2 50um)                         : 0m
        Length (OM1 62.5um)                       : 0m
        Length (Copper or Active cable)           : 1m
        Transmitter technology                    : 0xa0 (Copper cable unequalized)
        Attenuation at 2.5GHz                     : 8db
        Attenuation at 5.0GHz                     : 11db
        Attenuation at 7.0GHz                     : 0db
        Attenuation at 12.9GHz                    : 0db
        Vendor name                               : FS
        Vendor OUI                                : 00:40:20
        Vendor PN                                 : QSFP-PC01
        Vendor rev                                : A
        Vendor SN                                 : MT1422VS08180
        Date code                                 : 190228
        Revision Compliance                       : Revision not specified
        Module temperature                        : 0.00 degrees C / 32.00 degrees F
        Module voltage                            : 0.0000 V

ethtool 的输出：

root@testserver:/home/test# ethtool enp1s0
Settings for enp1s0:
        Supported ports: [ FIBRE ]
        Supported link modes:   1000baseKX/Full
                                10000baseKX4/Full
                                10000baseKR/Full
                                40000baseCR4/Full
                                40000baseSR4/Full
                                56000baseCR4/Full
                                56000baseSR4/Full
        Supported pause frame use: Symmetric Receive-only
        Supports auto-negotiation: Yes
        Supported FEC modes: Not reported
        Advertised link modes:  1000baseKX/Full
                                10000baseKX4/Full
                                10000baseKR/Full
                                40000baseCR4/Full
                                40000baseSR4/Full
        Advertised pause frame use: Symmetric
        Advertised auto-negotiation: Yes
        Advertised FEC modes: Not reported
        Speed: Unknown!
        Duplex: Unknown! (255)
        Port: FIBRE
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: off
        Supports Wake-on: d
        Wake-on: d
        Current message level: 0x00000014 (20)
                               link ifdown
        Link detected: no

我正在尝试比较集群的不同节点互连的延迟。目标是最小化内存访问延迟。

我已经获得了一些关于具有许多 CPU 的 NUMA 架构的硬件实现之一的基准测试。这表明：

1. 直接连接到 CPU 的 socket 的内存访问延迟约为 90ns。
2. 通过UPI连接到CPU套接字的其他CPU套接字的内存访问延迟约为140ns（因此UPI的一“跳”增加了约50ns）。
3. 通过所考虑的 NUMA 互连访问内存的延迟为 370ns（因此该互连的一“跳”增加了大约 280ns）。

NUMA 互连是非常专业的解决方案，无法与大多数硬件供应商一起使用。“标准”互连器是 InfiniBand、以太网和 FibreChannel。

我正在寻找这些互连器为内存访问提供的延迟。

例如，在 EDR Infiniband 交换机之一的规范中，它声明它提供“90ns端口到端口延迟”。如果我理解正确，端口到端口延迟是指交换机本身引入的延迟。对于这个延迟，我们应该加上大约 600ns 的 NIC 延迟（根据这个），所以这大约是 90+2x600=1290[ns] 的互连器相关延迟。（顺便说一句，与 90ns 相比，600ns 的值似乎高得可疑。为什么这么高？）

我们还应该预期电缆（无源铜缆或光纤）会引入一些延迟。我想这取决于它的长度，但我不确定它的顺序是什么。光在 3ns 左右传播 1 米，这是一个好的估计吗？

缺少的部分是网卡访问内存的时间。我想我们应该考虑使用 RDMA 和通过 CPU 的不同情况。我还缺少其他东西吗？我的上述推理是否正确？

我的主要问题是：使用 InfiniBand、以太网或 FibreChannel 等“标准”互连器访问集群不同节点内的内存的预期延迟是多少？

我问的原因是我试图将当前单一系统映像解决方案中描述的问题分解为较小的子问题。

我想首先说我对我所做的一切都非常缺乏经验，所以请放轻松。

我有 4 台计算机，每台都安装了 Red hat Enterprise Linux server 7.8，它们都连接到运行子网管理器的 Voltaire 网格控制器 4036 infiniband 交换机。为简单起见，我将计算机称为 s1-s4。我希望 s2、s3 和 s4 能够在不使用 IP 的情况下从 s1 访问和下载文件，因为我已经读过删除 IP 的使用可以将性能提高多达 20%（如果我错了，请纠正我） . 甚至可以在不使用 IP 的情况下进行文件传输吗？

另外，由于我是这个网站的新手，请随时告诉我是否应该提供更多信息或不清楚某些事情。如果您认为我误解了某些内容，那么您也可以随时纠正我。

谢谢

我正在建立一个带有 infiniband 网络的 Linux 集群，而且我是 infiniband 世界的新手，任何建议都非常受欢迎！

我们目前正在使用 Mellanox OFED 驱动程序，但我们的 infiniband 卡很旧，并且无法被最新的 MOFED 驱动程序识别。所以我想知道为什么不使用发行版提供的驱动程序（运行 CentOS7）。

使用一个或另一个会有什么不同？我应该期待任何性能下降吗？

谢谢

我继承了两个 Mellanox Infiniband 环境。一个在 LAN 上，另一个在 DMZ 中。两个 IB 网络都有自己的 SX6005 非管理型交换机和几个运行网络子网管理器的小型台式计算机。据我了解，运行托管交换机会将子网管理器放在交换机上，从而不需要台式计算机子网管理器，对吗？

最好购买两台交换机来保持 LAN/DMZ 的隔离，还是 Mellanox VLAN 间路由“足够好”？

此外，我对所有 Infiniband 技术都很陌生。我如何知道哪个交换机与我的服务器 NIC (MCX354A-FCBT CX35A FDR) 兼容？是否有任何 FDR 交换机可以工作，或者接口类型是否也会起作用（QSFP、QSFP+）？

谢谢

我有以下设置。7 个节点，假设它们被调用gauss1到gauss7. gauss1我在to之间建立了稳定的连接gauss6。只是gauss7在制造麻烦。

# ibnodes
Ca  : 0x0002c90300f2eef0 ports 2 "gauss1 mlx4_0"
Ca  : 0x0002c90300f2ef20 ports 2 "gauss2 mlx4_0"
Ca  : 0x7cfe900300be5350 ports 1 "gauss3 mlx4_0"
Ca  : 0x7cfe900300be5170 ports 1 "gauss4 mlx4_0"
Ca  : 0x7cfe900300be51a0 ports 1 "gauss5 mlx4_0"
Ca  : 0x248a070300d8f5c0 ports 1 "gauss6 mlx4_0"
Ca  : 0xec0d9a03002baf50 ports 1 "gauss7 mlx4_0"

所以所有节点似乎都在交换机上注册。端口状态为gauss1to gauss6on ACTIVE。就在gauss7我有端口状态INIT。

ibv_devinfo高斯7 说：

hca_id: mlx4_0
    transport:          InfiniBand (0)
    fw_ver:             2.42.5000
    node_guid:          ec0d:9a03:002b:af50
    sys_image_guid:         ec0d:9a03:002b:af53
    vendor_id:          0x02c9
    vendor_part_id:         4099
    hw_ver:             0x0
    board_id:           MT_1100120019
    phys_port_cnt:          1
        port:   1
            state:          PORT_INIT (2)
            max_mtu:        4096 (5)
            active_mtu:     4096 (5)
            sm_lid:         3
            port_lid:       9
            port_lmc:       0x00
            link_layer:     InfiniBand

我也安装opensm在 gauss7 上，它说它在STANDBY：

Feb 02 20:15:36 gauss7 opensm-launch[355306]: Using default GUID 0xec0d9a03002baf51
Feb 02 20:15:36 gauss7 OpenSM[355309]: Entering DISCOVERING state
Feb 02 20:15:36 gauss7 opensm-launch[355306]: Entering DISCOVERING state
Feb 02 20:15:36 gauss7 OpenSM[355309]: Entering STANDBY state
Feb 02 20:15:36 gauss7 opensm-launch[355306]: Entering STANDBY state

我的问题：如何设置端口gauss7并ACTIVE在所有 7 个节点之间建立连接？

我一直在两台机器之间的点对点链接中使用 Mellanox ConnectX 2 QDR 卡，opensm 在一台机器上运行。这非常有效。

最近我得到了一个 Mellanox IS5022 交换机——它不运行 SM。所以我知道我仍然需要运行该 opensm 实例。

如果在两台机器之间插入IS5022，需要重启opensm吗？

我的阅读表明我不必这样做。然而，理论和实践并不总是一致;-)

如果插入开关会使opensm 感到困惑，那么我将安排在非高峰时段进行更改。

提前致谢！

我尝试在带有 infiniband 卡的机器上运行 ibping 服务器：

ibping -S

我收到此错误消息：

ibping: iberror: failed: can't serve class 50 on this port

有什么想法可以解决这个问题吗？有关信息，infiniband 电缆显然已损坏（ibstat表明所有端口都处于物理状态polling），但我认为它不应该使前面的命令失败。

我在 RHEL 6.3 上运行了 Infiniband

[root@master ~]# ibv_devinfo 
hca_id: mthca0
transport:          InfiniBand (0)
fw_ver:             4.7.927
node_guid:          0017:08ff:ffd0:6f1c
sys_image_guid:         0017:08ff:ffd0:6f1f
vendor_id:          0x08f1
vendor_part_id:         25208
hw_ver:             0xA0
board_id:           VLT0060010001
phys_port_cnt:          2
    port:   1
        state:          PORT_ACTIVE (4)
        max_mtu:        2048 (4)
        active_mtu:     2048 (4)
        sm_lid:         2
        port_lid:       3
        port_lmc:       0x00
        link_layer:     InfiniBand

    port:   2
        state:          PORT_DOWN (1)
        max_mtu:        2048 (4)
        active_mtu:     512 (2)
        sm_lid:         0
        port_lid:       0
        port_lmc:       0x00
        link_layer:     InfiniBand

但它只作为 root 工作。

从非超级用户那里尝试时，我一无所获：

[nicolas@master ~]$ ibv_devices
device                 node GUID
------              ----------------
mthca0              001708ffffd06f1c

那么，如何让普通用户使用 infiniband 呢？

我正在考虑对我的中型存储进行下一次重组。目前大约 30TB，通过 AoE 共享。我的主要选择是：

1. 保持原样。它仍然可以增长一段时间。
   • 去 iSCSI。目前它有点慢，但有更多的选择
   • 光纤通道。
   • 无限带。

就个人而言，我喜欢 InfiniBand 主机适配器的性价比，并且 Supermicro（我的首选硬件品牌）的大多数产品都提供 IB 作为选项。

Linux 拥有 IPoIB 驱动程序已有一段时间了。但我不知道是否有众所周知的存储用途。大多数关于 iSCSI over IB 的评论都在谈论 iSER，以及某些 iSCSI 堆栈如何不支持它。

那么，是否有人对如何将 IB 用于 Linux 服务器的共享存储有一些指示？那里有任何发起人/目标项目吗？我可以简单地使用 iSCSI over IPoIB 吗？