问题[nfs](unix)

在 Solaris 上，我使用这些选项启用 nfs4

vim /etc/default/nfs

# Sets the minimum version of the NFS protocol that will be registered
# and offered by the server.  The default is 2.
NFS_SERVER_VERSMIN=4

# Sets the maximum version of the NFS protocol that will be registered
# and offered by the server.  The default is 4.
NFS_SERVER_VERSMAX=4

我在 Linux 上尝试了同样的操作（语法不同）

RPC_NFSD_OPTS="-N 2 -N 3"

Nfs mount 在所有主机上都有效。但是 rpc 发生了非常奇怪的事情

在 Linux 上

rpcinfo -t 192.168.0.2 nfs
192.168.0.2: RPC: Program not registered

在 Solaris 上

rpcinfo -t 192.168.201.3 nfs
program 100003 version 4 ready and waiting

为什么 rpc 没有在 Linux 上注册 nfs4？Linux 发行版是 Slackware 15.0 内核版本 6.11.10

使用此 acl

chmod A=owner@:wpdDxrarRsWwA:df:allow,group:nfs-users:wpdDxrarRsWwA:df:allow,everyone@:wpdDxrarRsWwA:df:deny /directory

我获得该目录仅供 nfs 用户和所有者使用，并且其中创建的所有文件和目录都有 770 权限。工作正常，但不再使用 nfs 挂载。哪个 acl 允许外部挂载？我尝试添加用户 root，但没有人

chmod A=owner@:wpdDxrarRsWwA:df:allow,group:nfs-users:wpdDxrarRsWwA:df:allow,everyone@:wpdDxrarRsWwA:df:deny,user:root:ww pdDxrarRsWwA:allow,user:nobody:wpdDxrarRsWwA:allow,group:nobody:wpdDxrarRsWwA:allow

但它不起作用，只有删除“everyone”行，目录才能通过 nfs 挂载。 不可能获得具有 770 继承权限并同时可通过 nfs 挂载的目录吗？

服务器是Solaris，客户端是Linux。

问题： nfs 服务器已关闭并且会导致您的计算机瘫痪！

具体来说，它会阻止启动。一个不太严重的例子是，你把你的笔记本电脑带给你的朋友，然后它无法启动，因为它试图在你的局域网上安装一个 nfs 服务器。

令人困惑的问题： 您不想在启动后手动挂载它，或者需要它的用户可能没有挂载权限。也许您只是懒惰？谁在乎呢，只要可以就应该挂载。

当我研究这个问题时，我发现曾经有一个名为 nowaitboot 的启动选项可以解决这个问题。不幸的是，它在 10 年前就被删除了。有什么替代方案吗？

常见的建议替代品：

nofail：导致严重延迟（编辑：进一步测试并不总是会导致严重挂起。DNS 故障会导致快速挂起，但服务器宕机会导致长时间挂起）

noauto：不会自动挂载

两天前，我的 NFS 卷出现了问题。该问题似乎与写入操作有关，以下操作需要较长时间（10 秒）才能完成：

• sed -i
• rm
• 编辑并保存vim

使用strace，我可以看到sed -i会挂起在rename("./sedXXXXX", ...)，或者 close(4)给出-1 EIO（输入/输出错误）。此外，对于每个sed -i调用（即使它有效），NFS: nfs4_reclaim_open_state: unhandled error -13中都会报告一行dmesg。

最后，长时间的等待不会每次发生，并且命令将“随机”完成而没有问题。

系统采用CentOS 7.4，内核为：

$ uname -r
3.10.0-693.5.2.el7.x86_64

您知道可能出了什么问题吗？或者我如何才能更准确地追踪问题？

提前致谢 ！

编辑按照grawity 的建议，设置rpcdebug -m nfs -s all会导致输出中出现更多打印dmesg，特别是：

$ dmesg | grep -i error | grep -i nfs
nfs41_handle_sequence_flag_errors: "IP_OF_NFS_SERVER" (client ID 22b1f26668d8b0fc) flags=0x00000040
nfs41_sequence_process: Error 0 free the slot

但我不知道这是否相关...

我正在寻找类似于ionice和trickle和pv -L和tc- 的命令，但它对文件的 IO 进行了限制。

ionice查看本地机器上的块设备。我希望它能用于一般的文件 I/O。如果它不适用于 NFS 上安装的 encfs，那么它对我来说就毫无用处了。

trickle塑造网络 I/O - 而不是文件系统 I/O。因此，如果我的程序访问 encfs 上的文件，它将不知道该文件是安装在 NFS 还是本地目录上。

tc类似于trickle：它塑造网络 I/O - 而不是文件系统 I/O。

pv -L仅适用于管道。我需要它对程序打开的所有文件起作用。想想 Firefox：它以多个线程打开文件进行读写。

我想要这个：

thecommand --read 5M --write 1M firefox

限制firefox以 5 MB/s 的速度读取文件并以 1 MB/s 的速度写入文件。

firefox只是一个例子：我希望它适用于任何打开不同文件进行读写的程序。

我希望无论是firefox访问本地文件还是 NFS/tmpfs/encfs/SSHFS/RandomFS 上的文件，限制都能起作用。

如果它只对动态链接程序起作用则是可以的（即，如果它执行一些 LD_PRELOAD 魔法则是可以的）。

有这样的野兽吗？

我在 Linux 服务器上创建了一个 nfs 挂载，并且有一个在运行时动态创建目录和文件的进程。正如预期的那样，目录owner:group具有nobody:nogroup。

问题是默认的 umask 产生了如下权限：

drwxr-x--- 2 nobody nogroup 4096 Sep  6 20:17 /shares/dra/rman/ORCL/mtd_inputs_2024-08-27/scott/datafile

该目录由另一台 Linux 服务器上的客户端通过 Oracle RMAN 作业创建。它稍后会调用 Oracle DDL 命令来创建 Oracle Directory 对象，从而允许 Oracle 访问该 Linux 目录。

当 RMAN 尝试访问该层次结构中的目录时，我收到错误。在 Google 上搜索时，这些错误在 Oracle 支持中有一些结果，包括此注释。 该注释让我想到，也许 Oracle Directory 对象无法访问目录，因为没有“全局”访问权限。

目录是在 RMAN 作业期间动态创建的，因此我无法提前更改权限。

这个任务是一个长期运行的任务，在接近尾声时，它会创建一个新目录，并且显然有一个子进程试图访问它，我很确定这是由于目录权限造成的。

有没有办法更改默认的 umask 以产生适用777于nobody用户 ID 的目录权限？我无法在客户端用户 ID 上更改它。

/etc/password 中的 nobody 条目显示不存在的主目录和 /usr/sbin/nologin shell：

Prompt> grep nobody /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin

版本：

Prompt> uname -a
Linux project01 4.19.0-26-amd64 #1 SMP Debian 4.19.304-1 (2024-01-09) x86_64 GNU/Linux
Prompt> cat /etc/debian_version
10.13

客户端正在运行 Oracle Linux Server 版本 7.9。

更新：我在 /etc/exports 中对相关服务器的输入如下所示：

Prompt> grep /shares/dra /etc/exports
/shares/dra exampledev01(rw,sync,no_subtree_check,all_squash,anonuid=65534,anongid=65534) 

我已经构建了一个自定义 Buildroot，其中 NetworkManager 作为唯一的网络守护进程，并通过 PXE 启动我的主板。问题是/etc/resolv.conf缺少实际的 DNS IP 和域。当内核启动时，它会发送 DHCP 请求，并且 DHCP 服务器会发送包含所有必需网络设置的答案：

[   8.278182] Sending DHCP requests ..., OK
[   16.272817] IP-Config: Got DHCP answer from X.X.X.X, my address is X.X.X.X
[   16.280985] IP-Config: Complete:
[   16.284623]      device=eth1, hwaddr=X:X:X:X:X:X, ipaddr=X.X.X.X, mask=255.255.0.0, gw=X.X.0.1
[   16.295317]      host=X.X.X.X, domain=*my-domain*.com, nis-domain=(none)
[   16.302670]      bootserver=0.0.0.0, rootserver=X.X.X.X, rootpath=
[   16.302692]      nameserver0=X.X.1.30, nameserver1=X.X.1.100

但/etc/resolv.conf缺少它：

# cat /etc/resolv.conf
# This is /run/systemd/resolve/resolv.conf managed by man:systemd-resolved(8).
# Do not edit.
...

nameserver 1.1.1.1
nameserver 8.8.8.8
search .

/proc/net/pnp根据文档，其中有实际的名称服务器和域，就像使用 NFS 根时应该的那样。

# cat /proc/net/pnp
#PROTO: DHCP
domain my-domain.com
nameserver X.X.1.30
nameserver X.X.1.100
bootserver 0.0.0.0

但/etc/resolv.conf不链接到它，而是链接到/run/systemd/resolve/resolv.conf.

我也无法通过主机名 ping 主板，因此我可以得出结论，即使 DNS 服务器也没有创建任何包含主板 IP 和主机名的记录，因为当内核发送第一个 DHCP 请求时，没有任何 FS 存储主机名。我知道我可以在 PXE 启动期间通过内核命令行参数设置主机名，但我想在 Linux 中使用“hostname”命令来设置它。

我使用此 systemd-networkd 配置来使用 DHCP 客户端：

# cat /etc/systemd/network/80-dhcp.network               
[Match]
Name=eth*

[Network]
DHCP=yes

[DHCP]
UseDomains=true
UseHostname=false
ClientIdentifier=mac
CriticalConnection=true

通过此配置，systemd-networkd 启动内部 DHCP 客户端，该客户端发送另一个 DHCP 请求并填充/etc/resolv.conf实际的网络设置。一切似乎都正常，我可以通过简单地重新启动 systemd-networkd 来刷新 DHCP 租约，但我想摆脱 systemd-networkd 并使用 NetworkManager 作为唯一的网络守护进程。

所以我假设 NetworkManager 在以板的主机名启动并接收网络设置并填充/etc/resolv.conf它们时会发送另一个 DHCP 请求，但它不会，并且在 ipv4.eth 接口的方法中是手动的。

有没有办法触发 NetworkManager 在已配置的接口上发送 DHCP 请求？还有一个更普遍的问题，NetworkManager 是否适合与 PXE 启动一起使用，或者我应该切换到另一个网络实用程序？

更新：

解决方案是dhcpcd在启动后使用参数手动启动：

dhcpcd --nooption host_name --clientid -h $(hostname) -1

我在nfs-client.target和network.target之后在systemd服务中运行此命令，NFS所依赖的以太网接口的IP没有改变，并且我的板获得了相关的网络设置并且其主机名正在解析。

在 Linux 上使用 nfsv3 命令

showmmount -d

显示在我的 nfs 服务器上挂载目录的远程客户端。使用带有远程安装目录的 nfs4，showmount 命令不显示任何内容。如何知道哪个远程客户端在我的本地机器上使用 nfs 服务器？

在 HPC 环境中，我们有 2 个节点系列，一个运行 7.1.1503（内核3.10.0-229.el7.x86_64），另一个运行较新的 7.7.1908（内核3.10.0-1062.12.1.el7.x86_64）。两者都使用以下供应商 (Mellanox) 记录的标志安装NFS/RDMA服务器：

10.0.0.1:/pool0/home on /mnt/rdma type nfs (rw,relatime,sync,vers=3,rsize=262144,wsize=262144,namlen=255,acregmin=0,acregmax=0,acdirmin=0,acdirmax=0,hard,nocto,noac,proto=rdma,port=20049,timeo=600,retrans=2,sec=sys,mountaddr=10.0.0.1,mountvers=3,mountproto=tcp,local_lock=none,addr=10.0.0.1)

在 7.1 节点上，我可以执行以下操作：

7.1$ dd if=/dev/zero of=/mnt/rdma/test bs=1 count=701

在 7.7 节点上，我将收到完全预期的文件

7.2$ hexdump /mnt/rdma/test
0000000 0000 0000 0000 0000 0000 0000 0000 0000
*
00002b0 0000 0000 0000 0000 0000 0000 0000     
00002bd

现在，如果我用700 字节或更少的字节进行相同的测试，则文件已损坏：

7.1$ dd if=/dev/zero of=/mnt/rdma/test bs=1 count=700

7.2$ hexdump /mnt/rdma/test | head -10
0000000 9dfe a757 0000 0100 0000 0000 0000 0000
0000010 0000 0000 0000 0000 0000 0000 0000 0100
0000020 0000 0100 0000 a401 0000 0100 0000 0000
0000030 0000 0000 0000 0000 0000 bc02 0000 0000
0000040 0000 0002 0000 0000 0000 0000 168c 0083
0000050 4a0f c612 0000 0000 b000 5a5b 1262 1e75
0000060 9d04 bc90 1262 1a75 c233 50e9 1262 1a75
0000070 c233 50e9 0000 bc02 0000 0100 0000 bc02
0000080 0000 0000 000a 5b5a 00b0 0000 0f9d 030c
0000090 0000 2d00 0000 0000 0000 0000 0000 0000

使用 NFS over TCP 而不是 RDMA 尝试相同的命令时，文件不会损坏。

我们已经尝试了很多很多的mount选项，调优rsize等等wsize，并且已经没有想法了，很高兴有一些新的......
是的，升级到更新的内核显然已经摆在桌面上，但我还不确定这在短时间内是可行的。
请注意，旧节点不适用于 7.7，而较新的节点不适用于 7.1。

更新

就像建议的那样，我已经升级到最新的 CentOS 7 版本，而且，这个错误仍然存​​在。

node1# dd if=/dev/zero of=/mnt/rdma/1160 bs=1 count=700

node2# uname -mr
3.10.0-1160.53.1.el7.x86_64 x86_64
node2# lsb_release -d
Description:    CentOS Linux release 7.9.2009 (Core)
node2# hexdump /mnt/rdma/1160|head -5
0000000 376b 1728 0000 0100 0000 0000 0000 0000
0000010 0000 0000 0000 0000 0000 0000 0000 0100
0000020 0000 0100 0000 a401 0000 0100 0000 0000
0000030 0000 0000 0000 0000 0000 bc02 0000 0000
0000040 0000 0002 0000 0000 0000 0000 168c 0083

更新 2

我刚刚在同一个节点上做了一个测试，最近的一个，升级到CentOS 7.9，在同一个节点读写时实际上失败了。
此外，使用 调整/proc/sys/sunrpc/rdma_memreg_strategy会产生非常奇怪的结果，例如rdma_memreg_strategy == 6噪声看起来像这样：

0000120 8898 123d 4506 c0f8 b0d6 3940 44b9 c0f8
0000130 bc92 ba64 4491 c0f8 165c 0ae4 448e c0f8
0000140 c82e 19e7 44a9 c0f8 2ddc 11f2 44dc c0f8
0000150 ad84 79aa 4520 c0f8 b4af 68ca 4571 c0f8
0000160 b752 b3ef 45cb c0f8 b04a 97b8 462d c0f8
0000170 7543 d694 4695 c0f8 d5dd 2cdc 4702 c0f8
0000180 a9bb f717 476e c0f8 4a78 13d9 47d7 c0f8
0000190 2a26 a9e4 4834 c0f8 71c8 3d91 4882 c0f8
00001a0 fcae 8d55 48bb c0f8 2b04 bcf8 48dd c0f8
00001b0 b04c a4be 48e8 c0f8 79d3 db6c 48dc c0f8
00001c0 9f84 c912 48bb c0f8 096c b285 4886 c0f8
00001d0 f0ff ee8e 483e c0f8 d171 e773 47e4 c0f8
00001e0 8e7b f3d1 4779 c0f8 4bbd d26f 46ff c0f8

更新 3

我安装了 Mellanox 的官方驱动程序。现在损坏发生在文件 < 640 字节...

更新 4

嗯，实际上比我想象的还要糟糕。这些文件不仅仅是“损坏”，它们是实际的内存泄漏：

# cat 20220222-1
0000000: b449 1fc1 0000 0001 0000 0000 0000 0000  .I..............
0000010: 0000 0000 0000 0000 0000 0000 0000 0001  ................
0000020: 0000 0001 0000 01a4 0000 0001 0000 0000  ................
0000030: 0000 0000 0000 0000 0000 0258 0000 0000  ...........X....
0000040: 0000 0200 0000 0000 0000 0000 8c16 8300  ................
0000050: 0f4a 12c6 0000 0000 00b0 5fd3 6214 a09b  .J........_.b...
0000060: 0c5f 0ffa 6214 a088 0f67 27e3 6214 a088  ._..b....g'.b...
0000070: 0f67 27e3 0000 0258 0000 0001 0000 0258  .g'....X.......X
0000080: 0000 5c9a 0000 0000 0000 0000 0000 0020  ..\............ 
0000090: 0100 0601 c612 4a0f 0083 168c 0000 0000  ......J.........
00000a0: 0000 0000 0a00 fd56 b000 0000 6d9c 0903  .......V....m...
00000b0: 0000 0000 3d33 8000 0000 011a 0000 0002  ....=3..........
00000c0: 0000 011a 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d  ....------------
00000d0: 0a0a 0a0a 0a2d 2d2d 2d2d 2d2d 2d2d 2d2d  .....-----------
00000e0: 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d  ----------------
00000f0: 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 2049  -------------- I
0000100: 7465 7261 7469 6f6e 2038 3438 3928 2020  teration 8489(  
0000110: 2035 2920 202d 2d2d 2d2d 2d2d 2d2d 2d2d   5)  -----------
0000120: 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d  ----------------
0000130: 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 0a0a 0a20  ------------... 
0000140: 2020 2050 4f54 4c4f 4b3a 2020 6370 7520     POTLOK:  cpu 
0000150: 7469 6d65 2020 2020 302e 3033 3532 3a20  time    0.0352: 
0000160: 7265 616c 2074 696d 6520 2020 2030 2e30  real time    0.0
0000170: 3334 390a 2020 2020 5345 5444 494a 3a20  349.    SETDIJ: 
0000180: 2063 7075 2074 696d 6520 2020 2030 2e30   cpu time    0.0
0000190: 3332 383a 2072 6561 6c20 7469 6d65 2020  328: real time  
00001a0: 2020 302e 3033 3239 0a20 2020 2045 4444    0.0329.    EDD
00001b0: 4941 473a 2020 6370 7520 7469 6d65 2020  IAG:  cpu time  
00001c0: 2020 332e 3139 3638 3a20 7265 616c 2074    3.1968: real t
00001d0: 696d 6520 2020 2033 2e31 3938 310a 0000  ime    3.1981...
00001e0: 3131 3238 2020 2020 0a48 4352 2020 2020  1128    .HCR    
00001f0: 2020 2020 2020 2020 2038 320a 2020 2020           82.    
0000200: 2031 322e 3934 3834 3732 3233 2020 2020   12.94847223    
0000210: 2020 2020 2d34 2e31 3938 3830 3635 3138      -4.198806518
0000220: 2020 2020 2020 2020 302e 3933 3536 3336          0.935636
0000230: 3039 3935 2020 2020 0a20 2020 3133 2e33  0995    .   13.3
0000240: 3837 3634 3434 3334 3120 2020 2020 2020  876444341       
0000250: 322e 3732 3939 3339                      2.729939

我想在本地 linux 机器（nfs4）上挂载两个 nfs 文件夹

可以按以下方式安装吗？（注意第二个安装点与第一个安装点重叠）

# /etc/fstab
svr1:/folder1 /mnt nfs ...
svr2:/folder2 /mnt/share nfs ...

挂载前在本地磁盘上创建挂载点(/mnt, /mnt/share)

我试过的时候看起来还可以，但是我想知道以后会不会有问题。我必须按照安装顺序小心吗？

编辑：我的错误。

local:/mnt/share 已通过在 /mnt 上挂载 svr1:/folder1 来隐藏。

svr2:/folder2 已安装在 /mnt/share 上，实际上是 svr1:/folder1/share。

只要 svr1:/folder1/share 为空，这样的设置是否足够好？还是有一天会带来混乱？