我想通过 infiniband 到 docker 容器,以便我可以通过 ipoib 运行一些高性能应用程序并使用 rdma。
目前,我正在使用 xen 虚拟机执行此操作。现在我正在考虑使用 CoreOS 和 docker 作为更轻量级且更易于管理的替代方案。
我有一个分配给它的静态 IP 为 10.10.10.10 的 IPoIB 设备 ib0。我已经设法通过以下方式将其暴露在 docker 容器中:
docker run --net=host --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm -t -i ubuntu:14.04 /bin/bash
太好了,这行得通。ib0 在 docker 容器中可用。
现在让我们假设我有一个双端口 HCA。在主机上,它们显示为 ib0 和 ib1,并分配了两个 ip。10.10.10.10/ib0 和 10.10.10.11/ib1
现在我想将 ib0 传递给第一个容器,将 ib1 传递给第二个容器。由于 --net=host 选项,使用上述两种方法都会出现在两个容器中。但是,不指定它意味着设备根本不会出现。
另一种情况是我有很多机器使用 SR-IOV 将 infiniband 设备传递到 xen 虚拟机。我怎样才能将虚拟功能 infiniband 设备传递给 docker 容器并让它出现?
注意:管道在这种情况下不起作用,但如果我更好地理解它,它可能会被黑客入侵以做我想做的事。我只是不太明白它在做什么......但是。
现在我可以回答我自己关于如何做到这一点的问题。
使用我刚刚修补的管道与 Infiniband 或 RDMA IPoIB 设备一起使用。
你这样运行它。
因为 IPoIB 设备不支持桥接,所以在发出命令后整个 ib0 设备对主机隐藏。即它被移动到容器的网络命名空间。要在不桥接的情况下获得类似桥接的功能,请使用 SR-IOV 并通过管道传递虚拟功能。最新版本使用类似于 macvlan 的虚拟 IPoIB。因此,真正的 ib0 在主机中仍然可见。它的工作方式与以太网版本非常相似。