我想首先说我对我所做的一切都非常缺乏经验,所以请放轻松。
我有 4 台计算机,每台都安装了 Red hat Enterprise Linux server 7.8,它们都连接到运行子网管理器的 Voltaire 网格控制器 4036 infiniband 交换机。为简单起见,我将计算机称为 s1-s4。我希望 s2、s3 和 s4 能够在不使用 IP 的情况下从 s1 访问和下载文件,因为我已经读过删除 IP 的使用可以将性能提高多达 20%(如果我错了,请纠正我) . 甚至可以在不使用 IP 的情况下进行文件传输吗?
另外,由于我是这个网站的新手,请随时告诉我是否应该提供更多信息或不清楚某些事情。如果您认为我误解了某些内容,那么您也可以随时纠正我。
谢谢
tl;博士:看看并坚持使用 NFSoRDMA。
这是需要明确的几点。考虑到您使用 RHEL 7 作为基础,您可能希望通过 NFS 从 s1 到 s2、s3 和 s4 提供文件。
由于性能和延迟问题,您对在 Infiniband 上运行 IP 的权利是问题,更不用说高 CPU 负载了,因为 Infiniband 上基本上没有 IP 卸载,一切都在软件中完成。运行纯 IPoIB 工作负载时,您可能会拥有一台服务器,其 99% 的 CPU 周期都浪费在
ksoftirq
.考虑到这一点,还有另一个问题:NFS 以及其他文件服务依赖于 IP 网络才能正常运行。
您想要的是启用 RDMA 的文件共享协议。通常它们仍然依赖于 IP,但仅用于初始握手,在连接建立后,它们升级到 RDMA,在您的情况下,使用 Infiniband。还有其他实现 RDMA 的结构:例如 RoCE 和 Omni-Path。
对于 NFS,您应该寻找 NFSoRDMA(NFS over RDMA)。你没有说你有哪些硬件,但如果是 Mellanox,你需要安装 MLNX OFED(可能是支持旧硬件的 LTS 4.9 版本)并启用 NFSoRDMA。我不确定 NFSoRDMA 是否可用于 INBOX RHEL 7 OFED 实现。在 EL8 上可用 AFAIK。
通常,您仍然需要一个带有 IP 地址的启动并运行的 IPoIB 接口
ib0
,但如果配置正确,NFS 将仅通过 IP 传输控制消息,而批量流量将通过 RDMA。其他文件系统,例如BeeGFS以相同的方式运行。通过 IP 进行初始化并升级到 RDMA。Gluster过去是一个选项,但 RDMA 已从中删除。