主页 / server / 问题 / 1023585
Accepted
mr.simonski
Asked: 2020-07-02 02:28:22 +0800 CST

NFS 共享上的 Docker 卷 - 空目录

  • 772

我们的业务应用程序在两个节点（node1 和 node2）上运行了一个 Docker Swarm 部署。

应用程序需要一个卷来存储持久数据。由于不清楚容器的部署位置（节点 1 或节点 2），以及我们的应用程序的两个容器可能应该在两个节点上运行，我们需要一个解决方案来为所有节点提供共享卷。

为了共享卷，我们使用以下 /etc/exports 文件在第三个节点 3 上设置 NFS 服务器：

/srv          *(rw,sync,anonuid=1000,anongid=1000,all_squash,subtree_check,crossmnt,fsid=root)

（我使用 anonuid/gid 为导出中的每个文件显式设置 node3 系统中已知用户的用户信息。all_squash 用于确保所有访问用户的所有文件权限都重写给该本地用户）

在我们的 docker-compose.yml 中，我们使用以下设置来包含卷：

volumes:
  nfs-data:
    driver: local
    driver_opts:
      type: nfs
      o: nfsvers=4,addr=node3.example.com,rw,nolock,soft

我们现在遇到了容器不想启动的问题，错误消息是：

failed to copy file info for /var/lib/docker/volumes/MY_CONTAINER_nfs-data/_data: failed to chown /var/lib/docker/volumes/MY_CONTAINER_nfs-data/_data: lchown /var/lib/docker/volumes/MY_CONTAINER_nfs-data/_data: operation not permitted

经过一番挖掘，我发现问题出在 node3 服务器上导出的 NFS 目录上的初始空文件夹中。一旦我放入一个空文件，node1 和 node2 中的容器的启动就完全正常了。

有人对此有解释吗？

nfs share docker nfs4

1 个回答

  1. Best Answer

    当命名卷从空/新状态初始化时，docker 会将镜像目录的内容复制到命名卷中。有几种选择可以解决这个问题：

    1. 在容器启动之前使用内容初始化命名卷。如您所见，这会禁用卷初始化步骤。
    2. 更新图像以在目录中具有所需的 uid/gid 并包含带有RUN chown -R 1000:1000 /path. 这应该可以防止出现问题，但您需要进行测试以确保没有 chown 试图从 docker 运行，具体取决于它如何初始化这些文件。
    3. 在 NFS 上禁用 squash。这是 docker 卷问题的常见原因，我不确定您会获得什么安全优势。如果您确实需要避免使用 root，您可以尝试使用用户命名空间配置 docker，但这会破坏您假设 uid 匹配的主机卷，因此请准备好一些努力。
    4. 禁用卷初始化。使用当前的 compose spec，您可以使用长语法将“nocopy”选项添加到您的服务量规范中。这是在使用卷的服务上完成的，而不是在定义卷的顶层。

    docker 文档中关于“nocopy”选项的示例如下所示：

    version: "3.8"
services:
  web:
    image: nginx:alpine
    ports:
      - "80:80"
    volumes:
      - type: volume
        source: mydata
        target: /data
        volume:
          nocopy: true

volumes:
  mydata:
    • 4

相关问题