主页 / server / 问题

问题[multipath](server)

Martin Hope
Ray
Asked: 2020-07-17 01:57:43 +0800 CST
  • 5

我正在为一组基于 Ubuntu 18.04 的服务器配置一个新的 SAN。每个节点都可以正常挂载 ext4 格式的分区。

作为多路径和 iSCSI 的新手，我不确定我所看到的是否“正常”。到目前为止我有两个问题。

  1. 当我创建一个文件时touch，其他节点看不到它。我已经习惯了 NFS 安装驱动器的某种延迟，但基本上，其他节点从未见过它（即，我仍在等待，我猜一个小时已经过去了）。

  2. 更令人担忧的是，当我列出一个复制的文件ls或du它所在的目录时，我收到一个错误“错误消息”。我环顾互联网，似乎解决方案是卸载驱动器，然后使用fsck它来检查它。也就是说，可能发生了数据损坏。但是，在我复制文件的计算机（即计算机 A）上，该文件很好。当我ls使用另一台计算机（即计算机 B）时，我收到此错误。

在 SAN 的管理软件中，我没有看到任何磁盘错误。

所有服务器和 SAN 都连接到本地网络的单个交换机。它们在物理上彼此靠近——它们在同一个机架上。

这两种情况“正常”吗？如果没有，关于我能做什么的任何建议？

storage-area-network iscsi ubuntu-18.04 multipath
Martin Hope
Nicolas De Jay
Asked: 2020-07-03 05:37:27 +0800 CST
  • 2

我们正在为我们正在管理的应用统计、生物信息学和基因组学的 HPC 计算集群设置新的存储。

配置

我们有一个带有 Dell EMC ME4084 (84x12TB 7200rpm) 的主机箱和一个带有 Dell EMC ME484 (28x12TB) 的附加机箱。EMC ME4084 提供 ADAPT 分布式 RAID（类似于 RAID6）和双硬件控制器。

文件服务器运行 CentOS 7。存储使用两根 SAS 电缆连接到文件服务器。每个 LUN 对应一个具有 ADAPT 的 14 磁盘组，并且两个 SAS 连接都显示为设备 sdb和sdj. 以下示例针对 LUN ID 0 给出。

我们multipath为主动-主动配置进行了如下配置：

$ cat /etc/multipath.conf
defaults {
    path_grouping_policy multibus
    path_selector "service-time 0"
}

$ multipath -ll
mpatha (3600c0ff000519d6edd54e25e01000000) dm-6 DellEMC ,ME4
size=103T features='0' hwhandler='0' wp=rw
`-+- policy=‘service-time 0' prio=1 status=active
  |- 1:0:0:0  sdb 8:16  active ready running
  `- 1:0:1:0  sdj 8:144 active ready running

故障转移配置：

$ cat /etc/multipath.conf
defaults {
    path_grouping_policy failover
    path_selector "service-time 0"
}

$ multipath -ll
mpatha (3600c0ff000519d6edd54e25e01000000) dm-6 DellEMC ,ME4
size=103T features='0' hwhandler='0' wp=rw
|-+- policy=’service-time 0' prio=1 status=active
| `- 1:0:0:0  sdb 8:16  active ready running
`-+- policy=’service-time 0' prio=1 status=enabled
  `- 1:0:1:0  sdj 8:144 active ready running

我们验证了写入会mpatha导致在主动-主动配置中sdb和sdj仅sdb在启用主动的配置中写入。我们将mpatha另一个条带化mpathb到一个逻辑卷中，并使用 XFS 对其进行格式化。

测试设置

fio我们使用以下工作负载对 I/O 性能进行了基准测试：

  • 单个 1MiB 随机读/写进程
  • 单个 4KiB 随机读写进程
  • 16 个并行 32KiB 顺序读/写进程
  • 16 个并行 64KiB 随机读/写进程

试验结果

                       Failover           Active-Active
                 -------------------   -------------------
   Workload        Read       Write      Read       Write
--------------   --------   --------   --------   --------
1-1mb-randrw     52.3MB/s   52.3MB/s   51.2MB/s   50.0MB/s
1-4kb-randrw     335kB/s    333kB/s    331kB/s    330kB/s
16-32kb-seqrw    3181MB/s   3181MB/s   2613MB/s   2612MB/s
16-64kb-randrw   98.7MB/s   98.7MB/s   95.1MB/s   95.2MB/s

我只报告了一组测试，但结果在重复（n = 3）和path_selector.

是否有任何理由主动-主动不能至少与主动启用的性能相匹配？我不知道问题是否与工作负载和多路径配置有关。当我们使用线性逻辑卷而不是条带化时，差异更加惊人（20%）。我真的很好奇我是否忽略了一些明显的东西。

非常感谢，

尼古拉斯

lvm filesystems raid xfs multipath
Martin Hope
Kris_R
Asked: 2017-01-21 09:13:29 +0800 CST
  • 5

我有一台带有 HP NC523 双 10GbE 网卡和带有双 10GbE iSCSI 控制器的 HP MSA1040 存储的服务器。

NC523 上的两个端口都配置为绑定。MSA 上的端口具有不同的 IP 地址。

我想将此系统配置为使用 20Gb 带宽（即 linux 服务器上的绑定和 MSA 上的多路径）。不应使用开关，只需直接连接即可。

如果 MSA 的两个端口都用光缆连接，则只能通过 ping 访问一个端口（并且可能因此我无法初始化多路径）。我交叉检查了所有硬件组件，只要只有一条线将服务器与 MSA 连接起来，所有这些组件都可以在每种可能的组合中工作。

有人可以建议我解决这个问题吗？

ps

我有另一台类似的服务器，带有“普通”四通道 1 GbE 铜网卡和带有四通道 1 GbE iSCSI 控制器的旧 HP P2000 存储。类似的配置在这里工作没有任何问题。服务器上的四个接口绑定到一个绑定，并且 iSCSI 存储的每个端口都可以被 ping 通，并且多路径也可以工作。两台机器都运行 CentOS 7。

iscsi bonding multipath
Martin Hope
Prashant Lakhera
Asked: 2016-12-17 21:13:15 +0800 CST
  • 7

我正在尝试在后端同一数据中心的两台服务器之间复制（使用 rsync 约 7TB 的数据），它使用 EMC VMAX3

复制约 30-40GB 的数据后，多路径开始失败

Dec 15 01:57:53 test.example.com multipathd: 360000970000196801239533037303434: Recovered to normal mode
Dec 15 01:57:53 test.example.com multipathd: 360000970000196801239533037303434: remaining active paths: 1
Dec 15 01:57:53 test.example.com kernel: sd 1:0:2:20: [sdeu]  Result: hostbyte=DID_ERROR driverbyte=DRIVER_OK 

[root@test log]# multipath -ll |grep -i fail
 |- 1:0:0:15 sdq  65:0   failed ready running
  - 3:0:0:15 sdai 66:32  failed ready running

我们使用默认的 multipath.conf

HBA driver version  8.07.00.26.06.8-k

HBA model QLogic Corp. ISP8324-based 16Gb Fibre Channel to PCI Express Adapter

OS: CentOS 64-bit/2.6.32-642.6.2.el6.x86_64
Hardware:Intel/HP ProLiant DL380 Gen9

已验证此解决方案并与 EMC 检查一切看起来都不错https://access.redhat.com/solutions/438403

更多信息

- 网络侧没有丢弃/错误数据包。

  • 使用 noatime、nodiratime 挂载文件系统
  • 文件系统 ext4（已经尝试过 xfs 但同样的错误）
  • LVM 处于条带模式（以线性选项开始，然后转换为条带）

  • 已禁用 THP

  • echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

  • 每当多路径启动失败进程进入 D 状态
  • 系统固件升级
  • 尝试使用最新版本的 qlogic 驱动程序
  • 尝试使用不同的调度程序（noop、deadline、cfq）
  • 尝试使用不同的调整配置文件（企业存储）

发行期间收集的 Vmcore

我可以在发布期间收集 vmcore

  KERNEL: /usr/lib/debug/lib/modules/2.6.32-642.6.2.el6.x86_64/vmlinux
DUMPFILE: vmcore  [PARTIAL DUMP]
    CPUS: 36
    DATE: Fri Dec 16 00:11:26 2016
  UPTIME: 01:48:57
  LOAD AVERAGE: 0.41, 0.49, 0.60
   TASKS: 1238
NODENAME: test.example.com
 RELEASE: 2.6.32-642.6.2.el6.x86_64
 VERSION: #1 SMP Wed Oct 26 06:52:09 UTC 2016
 MACHINE: x86_64  (2297 Mhz)
  MEMORY: 511.9 GB
   PANIC: "BUG: unable to handle kernel NULL pointer dereference at 0000000000000018"
     PID: 15840
 COMMAND: "kjournald"
    TASK: ffff884023446ab0  [THREAD_INFO: ffff88103def4000]
     CPU: 2
   STATE: TASK_RUNNING (PANIC)

在 qlogic sid 上启用调试模式后

qla2xxx [0000:0b:00.0]-3822:5: FCP command status: 0x2-0x0 (0x70000) nexus=5:1:0 portid=1f0160 oxid=0x800 cdb=2a200996238000038000 len=0x70000 rsp_info=0x0 resid=0x0 fw_resid=0x0 sp=ffff882189d42580 cp=ffff88276d249480.
qla2xxx [0000:84:00.0]-3822:7: FCP command status: 0x2-0x0 (0x70000) nexus=7:0:3 portid=450000 oxid=0x4de cdb=2a20098a5b0000010000 len=0x20000 rsp_info=0x0 resid=0x0 fw_resid=0x0 sp=ffff882189d421c0 cp=ffff8880237e0880.
hardware storage centos6 multipath
Martin Hope
gravyface
Asked: 2012-07-11 06:25:35 +0800 CST
  • 0

与 vCenter/VMware 相比，发现对话框/菜单有点混乱。我相信我已经配置了多路径 I/O（添加了多路径 I/O 角色，重新启动，在“连接”下添加了额外的连接，并看到了两个配置了 Round Robin 的活动连接）。

除了拉开关上的电缆，我还能看什么？我以为我看到了一个 shell 命令的屏幕截图，它相当简洁地显示了多路径是正确的。

hyper-v multipath
Martin Hope
Disco
Asked: 2012-06-28 07:13:24 +0800 CST
  • 3

最近拥有 Dell PowerVault MD3600i 我遇到了一些奇怪的结果。

我有一个专用的 24x 10GbE 交换机 (PowerConnect 8024)，设置为 9K 巨型帧。

MD3600 有 2 个 RAID 控制器，每个控制器有 2 个 10GbE 以太网网卡。开关上没有其他东西；一个 VLAN 用于 SAN 流量。

这是我的 multipath.conf

defaults {
    udev_dir        /dev
    polling_interval    5
    selector        "round-robin 0"
    path_grouping_policy    multibus
    getuid_callout      "/sbin/scsi_id -g -u -s /block/%n"
    prio_callout        none
    path_checker        readsector0
    rr_min_io       100
    max_fds         8192
    rr_weight       priorities
    failback        immediate
    no_path_retry       fail
    user_friendly_names yes
#   prio            rdac
}
blacklist {
    device {
               vendor "*"
        product "Universal Xport"
        }
#   devnode "^sd[a-z]"
}

devices {
    device {
           vendor "DELL"
           product "MD36xxi"
           path_grouping_policy group_by_prio
           prio rdac 
        #  polling_interval  5
           path_checker rdac
           path_selector "round-robin 0"
           hardware_handler "1 rdac"
           failback immediate
           features "2 pg_init_retries 50"
           no_path_retry 30
           rr_min_io 100
           prio_callout "/sbin/mpath_prio_rdac /dev/%n"
       }
}

和 iscsid.conf ：

node.startup = automatic
node.session.timeo.replacement_timeout = 15
node.conn[0].timeo.login_timeout = 15
node.conn[0].timeo.logout_timeout = 15
node.conn[0].timeo.noop_out_interval = 5
node.conn[0].timeo.noop_out_timeout = 10
node.session.iscsi.InitialR2T = No
node.session.iscsi.ImmediateData = Yes
node.session.iscsi.FirstBurstLength = 262144
node.session.iscsi.MaxBurstLength = 16776192
node.conn[0].iscsi.MaxRecvDataSegmentLength = 262144

经过我的测试；我几乎不能达到 200 Mb/s 读/写。

我应该期待更多吗？如果它有双 10 GbE，我的想法是 400 Mb/s。

有任何想法吗 ？指引？故障排除技巧 ?

编辑：

该阵列设置为 5.7TB 的单个逻辑卷 磁盘均为 1TB 7.2k SAS 6GB (ST1000NM0001) RAID 为 RAID10

Swith 配置的一些行：

interface Te1/0/23
storm-control broadcast
storm-control multicast
spanning-tree portfast
mtu 9000
switchport access vlan 40
exit
...
iscsi cos vpt 5
management access-list "default"
permit service ssh priority 1
permit service http priority 2
permit service https priority 3

和多路径输出：

[root@xnode4 ~]# multipath -ll -v2
multipath.conf line 30, invalid keyword: prio
mpath1 (36d4ae520009bd7cc0000030e4fe8230b) dm-2 DELL,MD36xxi
[size=5.5T][features=3 queue_if_no_path pg_init_retries 50][hwhandler=1 rdac][rw]
\_ round-robin 0 [prio=400][active]
 \_ 7:0:0:0   sdc 8:32  [active][ready]
 \_ 9:0:0:0   sde 8:64  [active][ready]
 \_ 11:0:0:0  sdi 8:128 [active][ready]
 \_ 13:0:0:0  sdn 8:208 [active][ready]
\_ round-robin 0 [prio=0][enabled]
 \_ 10:0:0:0  sdj 8:144 [active][ghost]
 \_ 12:0:0:0  sdh 8:112 [active][ghost]
 \_ 8:0:0:0   sdd 8:48  [active][ghost]
 \_ 6:0:0:0   sdb 8:16  [active][ghost]
storage-area-network iscsi dell-powervault multipath mpio
Martin Hope
Luke404
Asked: 2012-06-21 09:16:14 +0800 CST
  • 2

我可以将两个 linux 服务器放在一起，并使用（或多或少）新的DRBD 双主功能来获得一个共享块设备，并在两个节点上进行并发读/写访问。

然后我可以从每个节点导出一个iSCSI 目标并将这两个目标用作单个多路径 iSCSI 设备吗？例如。模拟双控制器 iSCSI 存储阵列

我知道我可以通过 iSCSI 在两个节点上工作，我只是不知道多路径是否需要来自两个目标的任何知识，或者只要涉及 iSCSI，它们是否完全独立并且没有共享状态。

（注意，我不会在生产中使用这样的设置，它只是我们还没有拥有的真正双控制器 iSCSI 阵列的测试平台替代品。我要将服务器连接到两个目标并测试通过断开两个链接之一进行多路径处理）

linux iscsi drbd multipath
Martin Hope
Igor Velkov
Asked: 2012-06-13 09:44:18 +0800 CST
  • 0

我的 linux 主机通过 FC 接口连接到 SAN。它连接一条路径，并看到一些无法访问的 lun，因为它们需要另一条路径，无法用于主机。

在启动 linux 时，探测他能看到的所有 lun，在无法访问的 lun 上出现读取错误，并在那里挂了很长时间。

有没有办法在引导时和以后禁用对某些 lun 的任何访问？

我找到了一个用于 LVM 和 MULTIPATH 设备忽略的过滤器，但它在引导过程中没有帮助。

一般来说，尽管有过滤器，lvm 仍然会受到影响，并且在像 lvdisplay 和 vgdisplay 这样的每个操作上都会给我一个 IO 错误，但这是另一个问题。

storage-area-network boot fibre-channel scsi multipath