我正在建立一个带有 infiniband 网络的 Linux 集群,而且我是 infiniband 世界的新手,任何建议都非常受欢迎!
我们目前正在使用 Mellanox OFED 驱动程序,但我们的 infiniband 卡很旧,并且无法被最新的 MOFED 驱动程序识别。所以我想知道为什么不使用发行版提供的驱动程序(运行 CentOS7)。
使用一个或另一个会有什么不同?我应该期待任何性能下降吗?
谢谢
我正在建立一个带有 infiniband 网络的 Linux 集群,而且我是 infiniband 世界的新手,任何建议都非常受欢迎!
我们目前正在使用 Mellanox OFED 驱动程序,但我们的 infiniband 卡很旧,并且无法被最新的 MOFED 驱动程序识别。所以我想知道为什么不使用发行版提供的驱动程序(运行 CentOS7)。
使用一个或另一个会有什么不同?我应该期待任何性能下降吗?
谢谢
找不到任何东西;)
构建超融合集群作为开发系统。这对我们来说是最先进的。
一开始有 2 台机器,大约 4 周后订购了一个交换机。两台服务器都有来自 Mellanox (ConnectX 4) 的 2x100gb 以太网卡
直接在它们之间插入电缆我得到了一个链接。我看到链接 trie(d) 出现,但失败了,连接立即中断。
QSFP28 不支持两个以太网卡之间的直接服务器连接吗?还有什么我应该注意的吗?最坏的情况是,我将 100g 链路“装箱”,直到交换机到达。
我刚刚在运行 CentOS 6.7 的服务器中安装了 Mellanox ConnectX-2 10gbe PCIe x8 卡。启动时,dmesg 显示mlx4_core
驱动程序正在自动加载,但是我没有看到与卡对应的 eth1设备。ifconfig -a
只显示eth0,这是我的板载/主板千兆网络接口。
所以,我删除/etc/udev/rules.d/70-persistent-net.rules
并重新启动。它重新创建70-persistent-net.rules
但仅使用我的板载/主板千兆网卡,没有 Mellanox 10gbe 卡的条目。
的输出/etc/udev/rules.d/70-persistent-net.rules
# PCI device 0x10ec:0x8168 (r8169)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:30:67:aa:bb:cc", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
好消息是,lspci
显示了 Mellanox 卡。的输出lspci | grep -i ether
02:00.0 Ethernet controller: Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] (rev b0)
05:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 03)
相关输出dmesg
:
mlx4_core: Mellanox ConnectX core driver v2.2-1 (Feb, 2014)
mlx4_core: Initializing 0000:02:00.0
mlx4_core 0000:02:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16
mlx4_core 0000:02:00.0: setting latency timer to 64
alloc irq_desc for 26 on node -1
alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 26 for MSI/MSI-X
alloc irq_desc for 27 on node -1
alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 27 for MSI/MSI-X
alloc irq_desc for 28 on node -1
alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 28 for MSI/MSI-X
alloc irq_desc for 29 on node -1
alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 29 for MSI/MSI-X
alloc irq_desc for 30 on node -1
alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 30 for MSI/MSI-X
alloc irq_desc for 31 on node -1
alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 31 for MSI/MSI-X
alloc irq_desc for 32 on node -1
alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 32 for MSI/MSI-X
alloc irq_desc for 33 on node -1
alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 33 for MSI/MSI-X
alloc irq_desc for 34 on node -1
alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 34 for MSI/MSI-X
alloc irq_desc for 35 on node -1
alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 35 for MSI/MSI-X
alloc irq_desc for 36 on node -1
alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 36 for MSI/MSI-X
alloc irq_desc for 37 on node -1
alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 37 for MSI/MSI-X
任何想法为什么我的 Mellanox ConnectX-2 没有显示为eth1设备?