主页 / user-224005

Nicolas De Jay's questions

Martin Hope
Nicolas De Jay
Asked: 2023-01-13 19:30:59 +0800 CST
  • 5

我有一个网络接口，我想为其配置路由。

# ip address show br_10G_V888
6: br_10G_V888: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 78:ac:44:09:9d:82 brd ff:ff:ff:ff:ff:ff
    inet 172.21.1.48/24 brd 172.21.1.255 scope global noprefixroute br_10G_V888
       valid_lft forever preferred_lft forever

我可以使用以下方式设置规则ip：

# ip route add default via 172.21.1.1 dev br_10G_V888 table dmz
# ip rule add from 172.21.1.0/24 lookup dmz
# ip route show table dmz
default via 172.21.1.1 dev br_10G_V888
# ip rule
0:      from all lookup local
32765:  from 172.21.1.0/24 lookup dmz
32766:  from all lookup main
32767:  from all lookup default

我想使用nmcli. 但是，我无法重新创建配置。

# nmcli connection modify br_10G_V888 \
  ipv4.routes '0.0.0.0/0 172.21.1.1 table=1' \
  ipv4.routing-rules 'priority 32765 from 172.21.1.0/24 table 1'
# nmcli connection up br_10G_V888
# ip route show table dmz
default via 172.21.1.1 dev br_10G_V888 proto static
172.21.1.1 dev br_10G_V888 proto static scope link
# ip rule
0:      from all lookup local
32765:  from 172.21.1.0/24 lookup dmz
32766:  from all lookup main
32767:  from all lookup default

任何反馈将不胜感激。谢谢你！

networking
Martin Hope
Nicolas De Jay
Asked: 2020-11-10 09:21:39 +0800 CST
  • 1

我配置了一个 Slurm 头节点，如下所示：

  • sssd联系 openLDAP
  • slurmctld///充当Slurm控制器和slurmdbd计算slurmd节点munged

... ray.williamsLDAP 用户在哪里。它的 UID 可以映射到节点上。SSH 登录工作正常。

$ id ray.williams
$ uid=10000(ray.williams) gid=10000(powerlifters) groups=10000(powerlifters)

当我将此用户添加到 Slurm 记帐数据库时，它不会抱怨该用户不存在。

$ sacctmgr create account name=default
Associations
  A = default    C = hydra

$ sacctmgr create user name=ray.williams account=default
Adding User(s)
  ray.williams
Associations =
  U = ray.willi A = default    C = hydra
Non Default Settings

但是，UID 被错误地映射到4294967294，它看起来像一个无符号的 -1 ( https://www.suse.com/support/kb/doc/?id=000017244 )。这与我输入了一个不存在的用户名相同的 UID。无法sacctmgr在命令行上提供正确的 UID。

$ scontrol show assoc | grep ray.williams
UserName=ray.williams(4294967294) DefAccount=default DefWckey=(null) AdminLevel=Not Set
ClusterName=hydra Account=default UserName=ray.williams(4294967294) Partition= ID=4

因此，该用户无法提交作业。我确认这只会影响 LDAP 用户，因为本地用户 ID 已正确映射。

$ su ray.williams
$ srun -A root -N4 -l /bin/hostname
srun: error: Unable to allocate resources: Invalid account or account/partition combination specified

日志显示作业被拒绝，可能是因为在 Slurm 会计数据库中找不到 UID 10000。

$ cat /var/log/slurm/slurmd.log
[2020-11-09T17:05:47.010] job_submit.lua: [Rule 0/part] Default partition - job from uid 10000(ray.williams), setting default partition to 'pgrinux'
[2020-11-09T17:05:47.010] _job_create: invalid account or partition for user 10000, account 'default', and partition 'pgrinux'
[2020-11-09T17:05:47.010] _slurm_rpc_allocate_resources: Invalid account or account/partition combination specified

你知道我怎样才能让 Slurm 和 SSSD/LDAP 交换正确的用户 ID 吗？

非常感谢！

注意：为了更好地衡量，这里是一些配置文件的片段，以防它们有用。

$ cat /etc/slurm/slurmd.conf
PartitionName=pgrinux      Nodes=d1p-test-grinux[01-05] Default=YES AllowGroups=ALL AllowAccounts=ALL

$ cat /etc/sssd/sssd.conf
[sssd]
domains = local.lan
config_file_version = 2
services = nss, pam
debug_level = 9

[pam]
pam_verbosity = 9

[domain/local.lan]
id_provider = ldap
auth_provider = ldap
cache_credentials = true
default_shell = /bin/bash
mkhomedir = false
ldap_access_order = filter
ldap_access_filter = (objectClass=posixAccount)
ldap_search_base = dc=local,dc=lan
ldap_uri = ldaps://d1p-test-ldap02
ldap_id_use_start_tls = false
ldap_tls_reqcert = never

$ getent passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
chrony:x:998:995::/var/lib/chrony:/sbin/nologin
vagrant:x:1000:1000:vagrant:/home/vagrant:/bin/bash
vboxadd:x:997:1::/var/run/vboxadd:/bin/false
slurm:x:991:991:SLURM workload manager:/var/lib/slurm:/bin/bash
munge:x:801:801:MUNGE Uid 'N' Gid Emporium:/var/lib/munge:/sbin/nologin
mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
sssd:x:800:800:User for sssd:/:/sbin/nologin
ldap slurm sssd hpc
Martin Hope
Nicolas De Jay
Asked: 2020-07-15 16:33:42 +0800 CST
  • 3

我们正在为文件服务器设置 ADAPT0（类似 RAID-60）配置。

我们有六个磁盘池。每个由 14 个磁盘组成，并使用 ADAPT 进行设置。根据戴尔的官方白皮书，ADAPT 与 RAID 6 类似，但分配的是备用容量。在第 13 页上，指示每个磁盘池的块大小为 512 KiB，条带宽度为 4 MiB（超过 8 个磁盘）。

我的理解是，对于每 14 个磁盘池，保留 2 个磁盘容量作为备用磁盘，剩余 12 个磁盘（2.4 个磁盘容量）的 20% 用于奇偶校验，80%（9.6 个磁盘）用于存储。但是，块大小为 512 KiB，条带宽度仍为 4MiB，因为我们只在一个连续块中写入 8 个磁盘。

为了实现 ADAPT0（类似 RAID-60）配置，我们随后创建了一个逻辑卷，该卷使用 LVM 在两个磁盘池上进行条带化。我们的意图是最终拥有 3 个条带卷，每个卷在两个磁盘池上进行条带化。我们使用了与硬件 RAID (512 KiB) 相匹配的条带大小：

$ vgcreate vg-gw /dev/sda /dev/sdb
$ lvcreate -y --type striped -L 10T -i 2 -I 512k -n vol vg-gw

接下来，在条带化逻辑卷上设置 XFS 文件系统。根据XFS.org和其他一些来源的指南，我们将条带单元su与 LVM 和 RAID 条带大小 (512k) 进行匹配，并将条带宽度设置sw为 16，因为我们有 16 个“数据磁盘”。

$ mkfs.xfs -f -d su=512k,sw=16 -l su=256k /dev/mapper/vg--gw-vol
$ mkdir -p /vol/vol
$ mount -o rw -t xfs /dev/mapper/vg--gw-vol /vol/vol

我们对 4KiB 块大小的顺序 I/O 性能进行了基准测试/dev/sda，/dev/sdb并/dev/mapped/vg--gw-vol使用

fio --name=test --ioengine=posixaio --rw=rw --bs=4k --numjobs=1 --size=256g --iodepth=1 --runtime=300 --time_based --end_fsync=1

我们惊讶地获得了类似的表现：

       Volumes         Throughput   Latency
---------------------  ----------  ----------
/dev/sda                198MiB/s    9.50 usec
/dev/sdb                188MiB/s   10.11 usec
/dev/mapped/vg--gw-vol  209MiB/s    9.06 usec

如果我们使用 I/O 监控工具bwm-ng，我们可以看到两者的 I/O/dev/sda以及/dev/sdb写入时的I/O /dev/mapped/vg--gw-vol。

我们是否正确配置？进一步来说：

(1) 将 LVM 条带大小与硬件 RAID (512 KiB) 的大小对齐是否正确？

(2) 对齐 XFS 条带单元和宽度是否正确（512 KiB 条带大小和 16 个数据磁盘），或者我们应该“抽象”底层卷（4 MiB 条带大小和 2 个数据磁盘）？

(3) 更令人困惑的是这里块设备的自我报告输出：

$ grep "" /sys/block/sda/queue/*_size
/sys/block/sda/queue/hw_sector_size:512
/sys/block/sda/queue/logical_block_size:512
/sys/block/sda/queue/max_segment_size:65536
/sys/block/sda/queue/minimum_io_size:4096
/sys/block/sda/queue/optimal_io_size:1048576
/sys/block/sda/queue/physical_block_size:4096

谢谢！

performance lvm filesystems raid xfs
Martin Hope
Nicolas De Jay
Asked: 2020-07-03 05:37:27 +0800 CST
  • 2

我们正在为我们正在管理的应用统计、生物信息学和基因组学的 HPC 计算集群设置新的存储。

配置

我们有一个带有 Dell EMC ME4084 (84x12TB 7200rpm) 的主机箱和一个带有 Dell EMC ME484 (28x12TB) 的附加机箱。EMC ME4084 提供 ADAPT 分布式 RAID（类似于 RAID6）和双硬件控制器。

文件服务器运行 CentOS 7。存储使用两根 SAS 电缆连接到文件服务器。每个 LUN 对应一个具有 ADAPT 的 14 磁盘组，并且两个 SAS 连接都显示为设备 sdb和sdj. 以下示例针对 LUN ID 0 给出。

我们multipath为主动-主动配置进行了如下配置：

$ cat /etc/multipath.conf
defaults {
    path_grouping_policy multibus
    path_selector "service-time 0"
}

$ multipath -ll
mpatha (3600c0ff000519d6edd54e25e01000000) dm-6 DellEMC ,ME4
size=103T features='0' hwhandler='0' wp=rw
`-+- policy=‘service-time 0' prio=1 status=active
  |- 1:0:0:0  sdb 8:16  active ready running
  `- 1:0:1:0  sdj 8:144 active ready running

故障转移配置：

$ cat /etc/multipath.conf
defaults {
    path_grouping_policy failover
    path_selector "service-time 0"
}

$ multipath -ll
mpatha (3600c0ff000519d6edd54e25e01000000) dm-6 DellEMC ,ME4
size=103T features='0' hwhandler='0' wp=rw
|-+- policy=’service-time 0' prio=1 status=active
| `- 1:0:0:0  sdb 8:16  active ready running
`-+- policy=’service-time 0' prio=1 status=enabled
  `- 1:0:1:0  sdj 8:144 active ready running

我们验证了写入会mpatha导致在主动-主动配置中sdb和sdj仅sdb在启用主动的配置中写入。我们将mpatha另一个条带化mpathb到一个逻辑卷中，并使用 XFS 对其进行格式化。

测试设置

fio我们使用以下工作负载对 I/O 性能进行了基准测试：

  • 单个 1MiB 随机读/写进程
  • 单个 4KiB 随机读写进程
  • 16 个并行 32KiB 顺序读/写进程
  • 16 个并行 64KiB 随机读/写进程

试验结果

                       Failover           Active-Active
                 -------------------   -------------------
   Workload        Read       Write      Read       Write
--------------   --------   --------   --------   --------
1-1mb-randrw     52.3MB/s   52.3MB/s   51.2MB/s   50.0MB/s
1-4kb-randrw     335kB/s    333kB/s    331kB/s    330kB/s
16-32kb-seqrw    3181MB/s   3181MB/s   2613MB/s   2612MB/s
16-64kb-randrw   98.7MB/s   98.7MB/s   95.1MB/s   95.2MB/s

我只报告了一组测试，但结果在重复（n = 3）和path_selector.

是否有任何理由主动-主动不能至少与主动启用的性能相匹配？我不知道问题是否与工作负载和多路径配置有关。当我们使用线性逻辑卷而不是条带化时，差异更加惊人（20%）。我真的很好奇我是否忽略了一些明显的东西。

非常感谢，

尼古拉斯

lvm filesystems raid xfs multipath
Martin Hope
Nicolas De Jay
Asked: 2014-06-06 09:16:32 +0800 CST
  • 0

我在家里有一台运行 ArchLinux 的服务器，叫做 SERVER。ssh user@SERVER目前，我可以通过 SSH从连接在同一 LAN 上的另一台计算机发出访问这台机器的权限。如果我用 SERVER_LAN_IP (192.168.XX) 替换 SERVER，它也可以工作。

我希望这个服务器可以从互联网上公开访问，所以我设置了我的路由器来转发适当的端口（外部 1234 到内部 22）。现在，从同一 LAN 上的计算机发出ssh -p 1234 user@ROUTER_WAN_IP似乎可以解决问题。但是，一旦我离开局域网，我什至无法 ping ROUTER_WAN_IP。

如果有帮助，我正在使用有线互联网连接。路由器通过 DHCP 检测调制解调器vlan并获取其外部 IP。

networking