我有两台 HP ProLiant ML 350 GEN 10，配有 RAID 10 SSD Samsung 磁盘和带 2 GB 缓存的 HPE SmartArray P408。它具有良好的性能：
复制大文件时，两分钟后性能就会下降......
从 10 GB NIC 到 P408i：（从 900 MB/s 到 50 MB/s）：
从内部 NVME 磁盘到 P408i：（从 900 MB/s 到 40 MB/s）：
从内部 SSD_AHCI 到 P408i（从 550 MB/s 到 36 MB/s）
我在服务器上安装了 SSD 和 NVMe PCI-E，性能没有下降。
从 10 GB NIC 到 NVME：
从 10 GB NIC 到 AHCI _SSD：
我有另一台 HP ProLiant ML350 GEN 10，具有相同的 SmartArray 控制器、相同的固件、相同的驱动程序、相同的缓存配置，并且没有这个问题。
希望可以有人帮帮我！！
我有一个多线程应用程序，它可以监听事件并需要立即对其做出响应。
在应用程序运行时，我的服务器在 1 核服务器中 CPU 负载低于 5％。
不过我想知道，增加线程数是否会降低服务器的响应时间？
看起来很直观但只是为了确保万无一失。
我正在运行 Ubuntu 24.04，使用 ZFS 作为文件系统。这是在一台笔记本电脑上，其唯一的存储设备是 WD Black SN850X NVMe 卡。默认的 Ubuntu 安装过程配置了两个 ZFS 池：
capacity operations bandwidth
pool alloc free read write read write
-------------------------------------- ----- ----- ----- ----- ----- -----
bpool 187M 1.69G 0 0 381 204
86349523-abd9-7a45-ab84-60d7622c240f 187M 1.69G 0 0 381 204
-------------------------------------- ----- ----- ----- ----- ----- -----
rpool 286G 634G 13 31 1.11M 796K
cc31ec4d-1dd2-ed4f-9f90-fa99ec5aa3a2 286G 634G 13 31 1.11M 796K
-------------------------------------- ----- ----- ----- ----- ----- -----
/tmp是根挂载的一部分，位于 rpool 中。
由于某些代码中的错误，我的/tmp文件夹中一度有超过 200 万个文件。当文件夹中有这么多文件时，性能就会急剧下降——即使只是列出文件（不排序）也会暂停一秒钟以上。我删除了大部分文件，现在情况已经恢复到可控水平。但是，对文件列表的操作/tmp仍然很慢。
当我ls --sort=none对例如/bin有 2,842 个条目进行计时时，我得到了如下结果：
real 0m0.088s
user 0m0.001s
sys 0m0.075s
但在 上运行同样的命令/tmp，它目前有 4,444 个条目：
real 0m0.472s
user 0m0.007s
sys 0m0.446s
看来，短暂地存放 200 万个文件对 的结构产生了永久性的影响/tmp？有办法解决这个问题吗？我只需要创建一个新的/tmp并切换到它吗？
我潜伏在这里和 StackExchange 上（想象一下，当我发现他们是同一群人，只是不同时，我会多么惊讶），多年来一直使用问答，直到现在我遇到了一个让我头疼的障碍。因此，在与该网站斗争了一个多小时后，我最初在 StackExchange 上发布了这篇文章，因为我已经看到了许多有关 MS Exchange 问题的主题和对话，但有人指出它应该在这里，而 StackExchange 只用于“编程”问题。所以我删除了它并将其移到这里。我仍然认为，如果您只想问编程问题，那么请删除网站该部分的所有非编程问题。我只把它发布在那里，因为我已经看过很多其他帖子，并且多次使用了这些帖子。
事实上，顶部搜索栏旁边的徽标仍然显示“StackExchange”，虽然我认为该网站的品牌令人困惑，但这就是我认为 StackExchange 是它需要去的地方的原因。是的，在争吵了一个多小时后，我很沮丧，而且确实有人对这次经历有三分之二的看法；但是，也许添加一个“这可能不是编码”通知，并带有重定向到 ServerFault 或 meta 或任何其他选项的选项也会有所帮助。所以，我删除了这个问题，并在这里重新发布。
谈谈当前的问题...
在过去一个月左右的时间里，我们一直在处理 OWA 和 ECP 访问不稳定且超级慢的问题。前一分钟，它们在登录时加载需要 1-2 秒，下一分钟则需要 5 分钟才能登录，再过 2 分钟才能显示第一个邮件项目。这种情况似乎随机地来回反复。此外，在 EMS 中运行命令时，我收到一些“由于线程退出或应用程序请求，I/O 操作已中止。+ FullyQualifiedErrorId：JobFailure
全面披露 我总共运行了 (3) 个不同的部署：2 个是单域（1 个 Server 2019 环境和 1 个 Server 2022），1 个是林/多域（所有 Server 2019 环境）。所有这些环境都作为虚拟机在 Proxmox 虚拟环境上运行。我在 Server 2022、单域、本地 Exchange 部署方面遇到了问题，但其他方面没有问题。
这是当前的 VM 硬件设置（请注意：站点 A 和站点 B 通过 VPN 连接）：站点 A（在 AD 站点和服务中配置为“站点 A”，子网为 10.2.0.0/16）
站点 B（在 AD 站点和服务中配置为“站点 B”，子网为 10.1.0.0/16）
关于我迄今为止尝试过的事情......
我尝试的第一件事是将整个实例移至新服务器。但没有任何改善。
我还验证了 DNS 设置是否正确（参见上文）
当我使用 Microsoft Remote Connectivity Analyzer 时，我得到以下结果：
Exchange ActiveSync（手动指定服务器设置） - 我收到以下错误：请注意：此测试先前已通过，仅存在“根证书” SSL 问题。
Exchange ActiveSync（自动发现服务器设置） - 在 CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS/Autodiscover/Autodiscover.xml 检查时收到以下错误：
我还运行了以下命令，下面列表是带有编辑后的域信息的输出：命令：
Get-OabVirtualDirectory | fl 服务器，名称，URL，身份验证 Get-WebServicesVirtualDirectory | fl 服务器，名称，URL，身份验证，MRSProxyEnabled Get-EcpVirtualDirectory | fl 服务器，名称，URL，身份验证 Get-OwaVirtualDirectory | fl 服务器，名称，URL，身份验证 Get-ActiveSyncVirtualDirectory | fl 服务器，名称，URL，身份验证 Get-ClientAccessService | fl 名称，OutlookAnywhereEnabled，AutodiscoverServiceInternalUri Get-ExchangeCertificate | fl FriendlyName，Subject，CertificateDomains，服务，颁发者，非，状态 Get-OutlookAnywhere | fl 服务器，名称，URL，主机名，身份验证 Get-MapiVirtualDirectory | fl 服务器，名称，URL，身份验证 Get-OrganizationConfig | fl mapi Get-ClientAccessArray | fl 获取 OutlookProvider 获取 ExchangeServer | fl 名称，管理员，静态*
Creating a new session for implicit remoting of "Get-OabVirtualDirectory" command...
( Get-OabVirtualDirectory | fl server, Name, *URL*, *auth* )
Server : EXCH01
Name : OAB (Default Web Site)
InternalUrl : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS/OAB
ExternalUrl : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS/OAB
BasicAuthentication : False
WindowsAuthentication : True
OAuthAuthentication : True
InternalAuthenticationMethods : {WindowsIntegrated, OAuth}
ExternalAuthenticationMethods : {WindowsIntegrated, OAuth}
( Get-WebServicesVirtualDirectory | fl server, Name, *URL*, *auth*, MRSProxyEnabled )
Server : EXCH01
Name : EWS (Default Web Site)
InternalNLBBypassUrl :
InternalUrl : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS/ews/exchange.asmx
ExternalUrl : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS/ews/exchange.asmx
CertificateAuthentication :
InternalAuthenticationMethods : {Ntlm, WindowsIntegrated, WSSecurity, OAuth}
ExternalAuthenticationMethods : {Ntlm, WindowsIntegrated, WSSecurity, OAuth}
LiveIdNegotiateAuthentication :
WSSecurityAuthentication : True
LiveIdBasicAuthentication : False
BasicAuthentication : False
DigestAuthentication : False
WindowsAuthentication : True
OAuthAuthentication : True
AdfsAuthentication : False
MRSProxyEnabled : False
( Get-EcpVirtualDirectory | fl server, Name, *URL*, *auth* )
Server : EXCH01
Name : ecp (Default Web Site)
InternalUrl : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS/ecp
ExternalUrl : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS/ecp
InternalAuthenticationMethods : {Basic, Fba}
BasicAuthentication : True
WindowsAuthentication : False
DigestAuthentication : False
FormsAuthentication : True
LiveIdAuthentication : False
AdfsAuthentication : False
OAuthAuthentication : False
ExternalAuthenticationMethods : {Fba}
( Get-OwaVirtualDirectory | fl server, Name, *URL*, *auth* )
Starting a command on the remote server failed with the following error message : The I/O operation has been aborted because of either a thread exit or an application request. For more information, see the about_Remote_Troubleshooting Help topic.
+ CategoryInfo : OperationStopped: (exch01.example.local:String) [], PSRemotingTransportException
+ FullyQualifiedErrorId : JobFailure
+ PSComputerName : exch01.example.local
“JobFailure”块段实际上重复了 10 次。
我可以删除“已完成的命令”并慢慢完成该集合。结果如下：
( Get-OwaVirtualDirectory | fl server, Name, *URL*, *auth* )
Server : EXCH01
Name : owa (Default Web Site)
Url : {}
InternalSPMySiteHostURL :
ExternalSPMySiteHostURL :
SetPhotoURL :
Exchange2003Url :
FailbackUrl :
InternalUrl : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS/owa
ExternalUrl : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS/owa
ClientAuthCleanupLevel : High
InternalAuthenticationMethods : {Basic, Fba}
BasicAuthentication : True
WindowsAuthentication : False
DigestAuthentication : False
FormsAuthentication : True
LiveIdAuthentication : False
AdfsAuthentication : False
OAuthAuthentication : False
ExternalAuthenticationMethods : {Fba}
( Get-ActiveSyncVirtualDirectory | fl server, Name, *URL*, *auth* )
Server : EXCH01
Name : Microsoft-Server-ActiveSync (Default Web Site)
MobileClientCertificateAuthorityURL :
InternalUrl : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS/Microsoft-Server-ActiveSync
ExternalUrl : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS/Microsoft-Server-ActiveSync
MobileClientCertificateAuthorityURL :
BasicAuthEnabled : True
WindowsAuthEnabled : False
ClientCertAuth : Ignore
InternalAuthenticationMethods : {}
ExternalAuthenticationMethods : {}
( Get-ClientAccessService | fl Name, OutlookAnywhereEnabled, AutodiscoverServiceInternalUri )
Name : EXCH01
OutlookAnywhereEnabled : True
AutoDiscoverServiceInternalUri : https://autodiscover.example.com/Autodiscover/Autodiscover.xml
( Get-ExchangeCertificate | fl FriendlyName, Subject, CertificateDomains, Services, Issuer, *not*, Status ))
FriendlyName : mail.example.com [Certify] - 5/15/2024 3:08:09 PM to 8/13/2024 3:08:08 PM
Subject : CN=mail.example.com
CertificateDomains : {mail.CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS, attachments.example.CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS, autodiscover.CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS, webmail.CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS}
Services : IMAP, POP, IIS, SMTP
Issuer : CN=R3, O=Let's Encrypt, C=US
NotAfter : 8/13/2024 3:08:08 PM
NotBefore : 5/15/2024 3:08:09 PM
Status : Valid
FriendlyName : Microsoft Exchange Server Auth Certificate
Subject : CN=Microsoft Exchange Server Auth Certificate
CertificateDomains : {}
Services : SMTP
Issuer : CN=Microsoft Exchange Server Auth Certificate
NotAfter : 9/30/2027 5:59:59 PM
NotBefore : 10/26/2022 5:59:59 PM
Status : Valid
FriendlyName : Microsoft Exchange
Subject : CN=EXCH01
CertificateDomains : {EXCH01, EXCH01.CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS}
Services : IIS, SMTP
Issuer : CN=EXCH01
NotAfter : 10/26/2027 5:57:07 PM
NotBefore : 10/26/2022 5:57:07 PM
Status : Valid
FriendlyName : WMSVC-SHA2
Subject : CN=WMSvc-SHA2-EXCH01
CertificateDomains : {WMSvc-SHA2-EXCH01}
Services : None
Issuer : CN=WMSvc-SHA2-EXCH01
NotAfter : 10/23/2032 3:47:25 PM
NotBefore : 10/26/2022 3:47:25 PM
Status : Valid
( Get-OutlookAnywhere | fl server, Name, *URL*, *hostname*, *auth* )
Server : EXCH01
Name : Rpc (Default Web Site)
XropUrl :
ExternalHostname : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS
InternalHostname : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS
ExternalClientAuthenticationMethod : Negotiate
InternalClientAuthenticationMethod : Ntlm
IISAuthenticationMethods : {Basic, Ntlm, Negotiate}
( Get-MapiVirtualDirectory | fl server, Name, *URL*, *auth* )
Server : EXCH01
Name : mapi (Default Web Site)
InternalUrl : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS
ExternalUrl : CORRECT-DOMAIN-REMOVED-FOR-LIMITATIONS
IISAuthenticationMethods : {Negotiate}
InternalAuthenticationMethods : {Negotiate}
ExternalAuthenticationMethods : {Negotiate}
( Get-OrganizationConfig | fl *mapi* )
MapiHttpEnabled : True
( Get-ClientAccessArray | fl )
NO RESULTS RETURNED
( Get-OutlookProvider )
Name Server CertPrincipalName TTL
---- ------ ----------------- ---
EXCH 1
EXPR 1
WEB 1
Get-ExchangeServer | fl name, *admin*, static* >>
Name : EXCH01
AdminDisplayVersion : Version 15.2 (Build 1544.4)
StaticDomainControllers : {}
StaticGlobalCatalogs : {}
StaticConfigDomainController :
StaticExcludedDomainControllers : {}
在我的“具有数据库可用性的 Microsoft Exchange”事件日志中，我只看到
在我的“管理事件”事件日志中，我看到了上述内容以及以下内容：
在我的“服务器角色 Web 服务器（IIS）”事件日志中，我看到以下内容：
仅今天就发生了 41 起此类事件（从 5 月 29 日 12:14 CST 到 5 月 29 日 20:44 CST）
有些人认为这是 DNS 问题；但是，它可以 ping 域控制器，如果这是 DNS 不匹配的问题，当我关闭 DC02 时它应该已经解决了该问题；但是，事实并非如此。
其他人建议重建所有虚拟目录；但是在安装 CU14 更新之前系统很慢......CU14 更新不会重建/重置虚拟目录吗？
我拥有的其他 (2) 个 Exchange 环境最多允许您在 1-2 秒内登录。当然，它们运行的是 Server 2019 CU10 和 CU11（客户告诉我不要更新它们中的任何一个，所以我无能为力。
我愿意接受这里的任何建议。
先感谢您！
更新时间：202040530 @ 17:30 CST
昨晚（20240529）我想测试 DNS 问题理论，于是我禁用了 DC02 VM 上的网络，然后将其关闭。什么都没有改变。事实上，情况变得更糟了。
快进到 10 分钟前（20240530@1720Hrs CST），我正用头撞桌子，决定换它们。我重新启用了 DC02 上的网络，并禁用了 DC01 上的网络。瞧，3 分钟内它就正常运行了。在 OWA 和 ECP 上登录需要 2-3 秒。通过 EMS 连接很快。这才是应该的。
因此，这不是 Exchange 问题，而是域控制器问题。当我可以重新激活网络时，我将在 DC01 上运行 DCDiag，届时我将在下面发布结果。
更新 - DCDIAG 结果：20240530@2140Hrs CST
正如我之前提到的，以下是运行 dcdiag 的结果。请注意，我更改了城市名称和服务器名称。请注意：事件日志中有一系列 DFSREvents。这是当我 A.) 关闭 DC02 上的网络适配器或最近关闭 DC01 上的网络适配器以进行测试并发现问题出在 DC01 上时发生的。
除了由于 NIC 适配器被禁用而导致的错误之外，我没有看到任何可以解释为什么 DC01 导致各种交换问题，但 DC02 却没问题。
请参阅此链接了解 dcdiag 结果：https://pastebin.com/Ckwe5RdF
更新： 20240601@1722Hrs - 诊断请求
我被要求做一些额外的诊断步骤，但我无法在这里粘贴所有的信息。
请参阅此链接了解完整概述： https://pastebin.com/x6nkBnkM
我的系统有 3 个 SSD 设备 ( /dev/sda、/dev/sdb、/dev/sdc)，其中包含一个跨越所有设备的 LVM 逻辑卷。我的逻辑卷上有一个 ext4 分区。
我认为其中一个 SSD 设备 ( /dev/sdb)可能存在一定程度的故障，并且与其他设备相比性能有所下降。
是否有命令可以获取该设备支持的文件列表？
我知道我可以获得逻辑段列表，sudo pvdisplay -m输出如下所示：
--- Physical volume ---
PV Name /dev/sda
VG Name storage
PV Size <1,82 TiB / not usable <1,09 MiB
Allocatable yes (but full)
PE Size 4,00 MiB
Total PE 476932
Free PE 0
Allocated PE 476932
PV UUID h3x3O1-1KWj-3pY6-kZ24-MVV4-54UE-ltEdfA
--- Physical Segments ---
Physical extent 0 to 476931:
Logical volume /dev/storage/vm
Logical extents 0 to 476931
--- Physical volume ---
PV Name /dev/sdb
VG Name storage
PV Size <3,64 TiB / not usable <3,84 MiB
Allocatable yes (but full)
PE Size 4,00 MiB
Total PE 953861
Free PE 0
Allocated PE 953861
PV UUID MsNlhh-W2It-CbX4-IxJn-lXJN-hlcd-EpBh9Q
--- Physical Segments ---
Physical extent 0 to 953860:
Logical volume /dev/storage/vm
Logical extents 476932 to 1430792
--- Physical volume ---
PV Name /dev/sdc
VG Name storage
PV Size <3,64 TiB / not usable <3,84 MiB
Allocatable yes (but full)
PE Size 4,00 MiB
Total PE 953861
Free PE 0
Allocated PE 953861
PV UUID sklK6w-XZd6-DqIp-ZT1g-O9rj-1ufw-UaC0z4
--- Physical Segments ---
Physical extent 0 to 953860:
Logical volume /dev/storage/vm
Logical extents 1430793 to 2384653
所以我知道逻辑扩展 476932 到 1430792 是潜在问题的区域。如何将此逻辑段范围映射到 LVM 之上的文件系统 (ext4) 上的实际文件？
基本上，我试图弄清楚设备是否确实有故障，或者这些文件的使用模式是否可能很不幸，以至于我遇到了对硬件有问题的使用模式，并且性能比预期更差。没有设备显示任何错误，所有数据看起来都不错，但该单个设备的性能似乎比预期更差。
该系统正在使用中，因此我更愿意在线诊断此问题而不覆盖任何数据。我知道，如果我可以简单地将可能有问题的存储设备脱机并覆盖其内容，我可以对其fio进行基准测试，看看它是否低于规格运行。
$ lsblk -s
...
storage-vm 253:0 0 9,1T 0 lvm /mnt/storage
├─sda 8:0 0 1,8T 0 disk
├─sdb 8:16 0 3,7T 0 disk
└─sdc 8:32 0 3,7T 0 disk
我基本上是在问当文件系统跨越多个存储设备时如何获取单个存储设备支持的文件列表。
或者，如果您可以提供如何确定给定文件实际存储位置的说明，那也很好。然后，我会对每个文件运行该例程，以找出我感兴趣的设备支持哪些文件。我知道，如果该文件在多个设备上碎片化，则可能是所有设备都支持单个大文件。大范围的本地段，因此答案可能是所有设备都支持单个文件，但我目前也不知道如何做到这一点。
$ sudo vgdisplay
--- Volume group ---
VG Name storage
System ID
Format lvm2
Metadata Areas 3
Metadata Sequence No 6
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 1
Open LV 1
Max PV 0
Cur PV 3
Act PV 3
VG Size <9,10 TiB
PE Size 4,00 MiB
Total PE 2384654
Alloc PE / Size 2384654 / <9,10 TiB
Free PE / Size 0 / 0
VG UUID MOrTMY-5Dly-48uQ-9Fa8-JNvf-tont-9in7ol
$ sudo lvdisplay
--- Logical volume ---
LV Path /dev/storage/vm
LV Name vm
VG Name storage
LV UUID RDkaLH-mh6C-cXxT-6ojc-DxkB-o4jD-3CMHdl
LV Write Access read/write
LV Creation host, time staging, 2021-01-21 09:57:06 +0200
LV Status available
# open 1
LV Size <9,10 TiB
Current LE 2384654
Segments 3
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 253:0
我有一张带有两个 10G 端口的以太网卡。我无法验证端口性能，也无法使用不同的系统对卡进行压力测试。我想通过连接单卡上同一适配器上的端口 A 和端口 B 来验证端口性能和压力测试，分配两个端口 IP 地址，然后使用 iPerf 进行验证？
听说这样一来，由于是在同一个操作系统下，所以两个端口之间不会产生实际的流量。
有人建议我在同一系统上创建一个虚拟机来分隔两个端口，以便它可以产生实际流量来验证性能和压力测试，这是正确的吗？
如果我无法连接两个端口来验证性能，下面的拓扑怎么样？
端口 A -> 交换机 -> 端口 B，其中交换机配置为将数据包转发到端口 B。
这种方式能带来实际流量吗？
谢谢，杰基
我想提高页面速度洞察的性能，但问题是我不知道如何使用该服务器上的所有硬件容量！我需要你的帮助。
我认为 litespeed 没有使用我服务器中的所有容量，因为我的内存和 cpu 是空闲的并且性能不是很好。
我们使用 centos7 和 openlitespeed 的 esxi 虚拟机配置的服务器硬件是： 内存：78.83 GB CPU：24 个 vCPU
我们的软件配置是： 操作系统：centos 7 cms：wordpress 缓存插件：litespeed 缓存，并启用 memcache 和 redis
我在 /usr/local/lsws/lsphp74/etc/php.ini 中设置了一些参数：请建议我进行一些改进，以使用更多资源并提高性能，以更快地加载核心 Web Vitals 的页面。
https://freeimage.host/i/screenshot-2023-11-25-00-14-58-php-7433-phpinfo.JoVaHfs
在过去的几天里，我在运行 CentOS 7 的网络服务器上遇到了问题。每隔 13-14 分钟，一些操作（我使用 iostat 通过 mariadb 识别）似乎完全使磁盘 IO 操作饱和，阻塞所有其他应用程序。大约3分钟后一切恢复正常。
在 /var/log/messages 中我看到：
Sep 14 09:35:42 MY-VM kernel: mptscsih: ioc0: attempting task abort! (sc=ffff9aefd1e76d80)
Sep 14 09:35:42 MY-VM kernel: sd 0:0:0:0: [sda] CDB: Write(10) 2a 00 2a 8b 1b 18 00 00 10 00
Sep 14 09:35:42 MY-VM kernel: mptscsih: ioc0: task abort: SUCCESS (rv=2002) (sc=ffff9aefd1e76d80)
Sep 14 09:35:42 MY-VM kernel: mptscsih: ioc0: attempting task abort! (sc=ffff9aefd1e741c0)
Sep 14 09:35:42 MY-VM kernel: sd 0:0:0:0: [sda] CDB: Write(10) 2a 00 0f 37 0a 58 00 00 08 00
Sep 14 09:35:42 MY-VM kernel: mptscsih: ioc0: task abort: SUCCESS (rv=2002) (sc=ffff9aefd1e741c0)
Sep 14 09:35:42 MY-VM kernel: mptscsih: ioc0: attempting task abort! (sc=ffff9aefd1e74700)
Sep 14 09:35:42 MY-VM kernel: sd 0:0:0:0: [sda] CDB: Write(10) 2a 00 0f 37 0a 38 00 00 10 00
Sep 14 09:35:42 MY-VM kernel: mptscsih: ioc0: task abort: SUCCESS (rv=2002) (sc=ffff9aefd1e74700)
我一直在监视查询，但找不到任何重要的内容。
我有几台带有 ConnectX-7 Infiniband 卡的机器，它们已插入 Nvidia QM9700 交换机。我已确认两端均为 400 Gbit NDR（主机上的 ibstat 和交换机控制台中）。这些机器运行 Ubuntu 22.04 和 Mellanox 5.8-3.0.7.0 驱动程序。我已经做了很多测试ib_write_bw，我能得到的最大速度是 ~251 Gbit/s。实际测试命令为：
服务器端（host_a）：
numactl -N 0 -m 0 ib_write_bw -d mlx5_4 -F --report_gbits
客户端（host_b）：
numactl -N 0 -m 0 ib_write_bw -d mlx5_4 -F --report_gbits --run_infinitely host_b
这些卡位于正确的 numa 域中以匹配 numactl，但我尝试过其他组合，但没有成功。输出最终看起来像这样：
---------------------------------------------------------------------------------------
RDMA_Write BW Test
Dual-port : OFF Device : mlx5_4
Number of qps : 1 Transport type : IB
Connection type : RC Using SRQ : OFF
PCIe relax order: ON
ibv_wr* API : ON
TX depth : 128
CQ Moderation : 1
Mtu : 4096[B]
Link type : IB
Max inline data : 0[B]
rdma_cm QPs : OFF
Data ex. method : Ethernet
---------------------------------------------------------------------------------------
local address: LID 0x54 QPN 0x0058 PSN xxx RKey 0x1820e0 VAddr xxx
remote address: LID 0x53 QPN 0x0058 PSN xxx RKey 0x1820e0 VAddr xxx
---------------------------------------------------------------------------------------
#bytes #iterations BW peak[Gb/sec] BW average[Gb/sec] MsgRate[Mpps]
65536 2353827 0.00 246.81 0.470754
65536 2339084 0.00 245.27 0.467815
65536 2338736 0.00 245.23 0.467746
65536 2338574 0.00 245.22 0.467713
65536 2338610 0.00 245.22 0.467720
我知道这可能不太可能，但想知道是否有人实际上已经在 infiniband 上实现了 400 GB，ib_write_bw这可能知道我们错过了什么。
我有以下设置并寻找有关 2 个连接选项的建议：
因此，我可以使用 1 根 SAS 电缆将所有 4 个硬盘连接到控制器上的 1 个 SAS 端口，或者可以在 2 个 SAS 端口中的每个端口上连接 2 个硬盘。
HD1+HD2 ---- 线缆 1 ---- 控制器端口 1
HD1+HD2 ---- 线缆2 ---- 控制器端口2
或者
HD1+HD2+HD3+HD4----线缆1--------控制器端口1
它对性能有影响吗？如果我为 4 个磁盘进行 RADI5 设置，建议会改变吗？如果我为 4 个磁盘进行 RADI10 设置，建议会改变吗？