问题[bottleneck](server)

我在两台几乎相同的服务器上使用带有 MySQL 和 PHP 的 Windows Server 2016 上的 IIS。我最近注意到我的两台服务器之一的速度变慢了，但只有当我的站点尝试同时执行多个脚本实例时才会发生这种情况。他们似乎被困在了彼此身上。

一个完美的例子是我的搜索页面。当用户键入搜索查询时，每次按键（在第二个字母之后）只要自上次按键后至少有 200 毫秒的延迟，就会执行一次搜索。因此，如果您快速键入，它最后只会进行一次搜索，但对于较慢的打字员（按键之间等待超过 200 毫秒的人），这将触发对搜索结果的多次调用。请参阅此屏幕截图。

坏服务器

请注意所有待处理的请求，在此屏幕截图中，第一个请求刚刚在 19.08 秒完成。显然太长了。当他们全部完成时，他们都已经超过 15 秒才能返回一个简单的结果集。

坏服务器

请记住，这些查询在 MySQL Workbench 中运行时以及在我的其他没有遇到此问题的服务器上运行时只需要几分之一秒。在此屏幕截图（来自良好的服务器）中看到完全相同的搜索在四分之一秒内返回。

好服务器

在我看来，（在坏的服务器上）由于某种原因它们无法同时执行，因为如果我只执行一次搜索（通过快速键入以触发一次搜索）它很快就会回来，但是如果我像这样执行倍数，他们都像堵车一样卡住了。什么可能导致这种情况？

下一个屏幕截图显示了我在坏服务器上仅触发一次搜索时的结果。如您所见，它恢复得非常快。所以问题只是在同时执行多个相同的脚本时。

坏服务器

我最近确实对坏服务器进行了一些更改，但据我所知，我所做的唯一更改是允许上传更大的文件。

• 在 PHP 中我增加了 post_max_size = 500M
• 在 PHP 中我增加了 upload_max_filesize = 500M
• 在 IIS 中，我将 UploadReadAheadSize 增加到 49152000
• 在 IIS 中，我将允许的最大内容长度增加到 300000000

我可能对此服务器进行了其他我不记得的更改。

临时修复

我可以通过在搜索时允许更长的按键之间的延迟来缓解这个问题，我已经做到了，将它增加到 800 毫秒，所以即使是慢速打字机也看不到这个问题，但这只是一个创可贴解决方案，并没有解决也影响我网站其他区域的潜在问题。

我试过的

到目前为止，我已经确认我的 IIS 配置、MySQL 配置（my.ini）和我的 PHP 配置（php.ini）在两台服务器上的所有重要方面都是相同的（至少在我看来是显而易见的） . 我还确认，如果我在 MySQL Workbench 中执行我在此搜索中运行的选择语句，它们在两台服务器上的性能同样出色。仅在我的网络应用程序中遇到此问题。

为了以防万一，我暂时撤消了我对 IIS 所做的两个更改以上传更大的文件，但这似乎没有什么区别。

我还下载并安装了 LeanSentry，它每天会警告我一两次，我的网站已看到被阻止的请求，我认为这正是我在这里看到的，但不幸的是，LeanSentry 只能查明 ASP 问题的根源页面，而不是 PHP。所以它本质上只是对我确认存在问题，但除此之外它无法帮助我。

其他症状

如果我同时打开多个报告，我会看到类似的问题。如果我允许一个报告在打开下一个报告之前完成加载，它们都会快速加载，但如果我强制我的应用程序一次打开多个报告，它们都会卡住。

什么可能导致这个瓶颈问题？

快速背景；我有一个 10Gbit 文件服务器，带有六个运行 CentOS 8 的数据 SSD，我正在努力使线路饱和。如果我将带宽限制在 5 或 6Gbps，一切都很好。以下是来自 Cockpit 的一些图表，显示一切正常（约 850 个并发用户，5Gbps 上限）。

不幸的是，当我推得更高时，带宽会以巨浪波动。通常这是磁盘饱和（或 SATA 卡）的标志，在 Windows 机器上我已经解决了这样的问题：

1. 打开“资源监视器”。
2. 选择“磁盘”选项卡。
3. 观看“队列长度”图表。任何队列长度稳定在 1 以上的磁盘/RAID 都是瓶颈。升级它或减少它的负载。

现在我在 CentOS 8 服务器上看到了这些症状，但我该如何找出罪魁祸首呢？我的 SATA SSD 分为三个软件 RAID0 阵列，如下所示：

    # cat /proc/mdstat
    Personalities : [raid0]
    md2 : active raid0 sdg[1] sdf[0]
          7813772288 blocks super 1.2 512k chunks
    
    md0 : active raid0 sdb[0] sdc[1]
          3906764800 blocks super 1.2 512k chunks
    
    md1 : active raid0 sdd[0] sde[1]
          4000532480 blocks super 1.2 512k chunks`

iostat波动很大，通常有很高的 %iowait。如果我没看错，这似乎表明 md0 (sdb+sdc) 的负载最大。但这是瓶颈吗？毕竟，%util 远不及 100。

# iostat -xm 5
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           7.85    0.00   35.18   50.02    0.00    6.96

Device            r/s     w/s     rMB/s     wMB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
sda            106.20   57.20      0.89      0.22     3.20     0.00   2.93   0.00  136.87  216.02  26.82     8.56     3.99   0.92  14.96
sde            551.20    0.00    153.80      0.00    65.80     0.00  10.66   0.00    6.75    0.00   3.44   285.73     0.00   0.64  35.52
sdd            571.60    0.00    153.77      0.00    45.80     0.00   7.42   0.00    6.45    0.00   3.40   275.48     0.00   0.63  35.98
sdc            486.60    0.00    208.93      0.00   305.40     0.00  38.56   0.00   20.60    0.00   9.78   439.67     0.00   1.01  49.10
sdb            518.60    0.00    214.49      0.00   291.60     0.00  35.99   0.00   81.25    0.00  41.88   423.52     0.00   0.92  47.88
sdf            567.40    0.00    178.34      0.00   133.60     0.00  19.06   0.00   17.55    0.00   9.68   321.86     0.00   0.28  16.08
sdg            572.00    0.00    178.55      0.00   133.20     0.00  18.89   0.00   17.63    0.00   9.81   319.64     0.00   0.28  16.00
dm-0             5.80    0.80      0.42      0.00     0.00     0.00   0.00   0.00  519.90  844.75   3.69    74.62     4.00   1.21   0.80
dm-1           103.20   61.40      0.40      0.24     0.00     0.00   0.00   0.00  112.66  359.15  33.68     4.00     4.00   0.96  15.86
md1           1235.20    0.00    438.93      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00   363.88     0.00   0.00   0.00
md0           1652.60    0.00    603.88      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00   374.18     0.00   0.00   0.00
md2           1422.60    0.00    530.31      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00   381.72     0.00   0.00   0.00
dm-2             0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00
loop0            0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           5.14    0.00   22.00   72.86    0.00    0.00

Device            r/s     w/s     rMB/s     wMB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
sda             34.00   37.40      0.15      0.15     5.20     0.00  13.27   0.00  934.56  871.59  64.34     4.61     4.15   0.94   6.74
sde            130.80    0.00     36.14      0.00    15.00     0.00  10.29   0.00    5.31    0.00   0.63   282.97     0.00   0.66   8.64
sdd            132.20    0.00     36.35      0.00    14.40     0.00   9.82   0.00    5.15    0.00   0.61   281.57     0.00   0.65   8.62
sdc            271.00    0.00    118.27      0.00   176.80     0.00  39.48   0.00    9.52    0.00   2.44   446.91     0.00   1.01  27.44
sdb            321.20    0.00    116.97      0.00   143.80     0.00  30.92   0.00   12.91    0.00   3.99   372.90     0.00   0.91  29.18
sdf            340.20    0.00    103.83      0.00    71.80     0.00  17.43   0.00   12.17    0.00   3.97   312.54     0.00   0.29   9.90
sdg            349.20    0.00    104.06      0.00    66.60     0.00  16.02   0.00   11.77    0.00   3.94   305.14     0.00   0.29  10.04
dm-0             0.00    0.80      0.00      0.01     0.00     0.00   0.00   0.00    0.00 1661.50   1.71     0.00    12.00   1.25   0.10
dm-1            38.80   42.20      0.15      0.16     0.00     0.00   0.00   0.00  936.60 2801.86 154.58     4.00     4.00   1.10   8.88
md1            292.60    0.00    111.79      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00   391.22     0.00   0.00   0.00
md0            951.80    0.00    382.39      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00   411.40     0.00   0.00   0.00
md2            844.80    0.00    333.06      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00   403.71     0.00   0.00   0.00
dm-2             0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00
loop0            0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00

同时服务器性能很差。SSH 上的每次击键都需要几秒钟的时间来注册，GNOME 桌面几乎没有响应，并且用户报告连接断开。我会显示 Cockpit 图表，但登录超时。限制带宽效果很好，但我想解锁其余的。那么如何识别瓶颈呢？我喜欢一些建议！

我有一个使用三星 840 pro 磁盘的数据库服务器。即使网站上没有太多活动，负载也会持续高于平时。所以我怀疑磁盘已经磨损了。但是如何检查磁盘 i/o 是否是瓶颈？

以下是一些可能相关的快照：

 top - 03:02:11 up 766 days, 20:45,  1 user,  load average: 7.42, 6.89, 6.72
Tasks: 325 total,   1 running, 321 sleeping,   3 stopped,   0 zombie
%Cpu(s): 17.3 us,  0.4 sy,  0.0 ni, 82.1 id,  0.0 wa,  0.0 hi,  0.1 si,  0.0 st
KiB Mem:  13227468+total, 27130284 used, 10514440+free,    94308 buffers
KiB Swap:  3906556 total,     9136 used,  3897420 free.  3833216 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                         
21764 mysql     20   0 27.058g 0.021t  12164 S 576.0 17.2  17369,44 mysqld                                                          
  574 root      20   0       0      0      0 S   0.3  0.0 280:00.66 jbd2/sda1-8                                                     
 5585 root      20   0       0      0      0 S   0.3  0.0   0:08.04 kworker/18:0                                                    
    1 root      20   0   28692   4540   2964 S   0.0  0.0  42:51.98 systemd                                                         
    2 root      20   0       0      0      0 S   0.0  0.0   0:00.50 kthreadd                                                        
    3 root      20   0       0      0      0 S   0.0  0.0 894:44.38 ksoftirqd/0                                                     
    5 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/0:0H                                                    
    6 root      20   0       0      0      0 S   0.0  0.0  21:07.91 kworker/u64:0                                                   
    8 root      20   0       0      0      0 S   0.0  0.0   2510:32 rcu_sched                                                       
    9 root      20   0       0      0      0 S   0.0  0.0   0:00.00 

iotop 输出：

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                         
21764 mysql     20   0 27.058g 0.021t  12164 S 576.0 17.2  17369,44 mysqld                                                          
  574 root      20   0       0      0      0 S   0.3  0.0 280:00.66 jbd2/sda1-8                                                     
 5585 root      20   0       0      0      0 S   0.3  0.0   0:08.04 kworker/18:0                                                    
    1 root      20   0   28692   4540   2964 S   0.0  0.0  42:51.98 systemd                                                         
    2 root      20   0       0      0      0 S   0.0  0.0   0:00.50 kthreadd                                                        
    3 root      20   0       0      0      0 S   0.0  0.0 894:44.38 ksoftirqd/0                                                     
    5 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/0:0H                                                    
    6 root      20   0       0      0      0 S   0.0  0.0  21:07.91 kworker/u64:0                                                   
    8 root      20   0       0      0      0 S   0.0  0.0   2510:32 rcu_sched                                                       
    9 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rcu_bh                                                          
   10 root      rt   0       0      0      0 S   0.0  0.0   5:28.52 migration/0                                                     
   11 root      rt   0       0      0      0 S   0.0  0.0   3:15.12 watchdog/0                                                      
   12 root      rt   0       0      0      0 S   0.0  0.0   3:27.27 watchdog/1                                                      
   13 root      rt   0       0      0      0 S   0.0  0.0   3:19.37 migration/1                                                     
   14 root      20   0       0      0      0 S   0.0  0.0 190:10.26 ksoftirqd/1                                                     
   16 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/1:0H                                                    
   17 root      rt   0       0      0      0 S   0.0  0.0   3:19.65 watchdog/2                                                      
   18 root      rt   0       0      0      0 S   0.0  0.0   2:52.44 migration/2                                                     
   19 root      20   0       0      0      0 S   0.0  0.0 194:18.02 ksoftirqd/2                                                     
   21 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/2:0H                                                    
   22 root      rt   0       0      0      0 S   0.0  0.0   3:21.4

iostat -m （数据库在 sda 上，linux 文件系统在 sdb 上）

Linux 3.16.0-4-amd64 (back)     03/27/20    _x86_64_    (32 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           6.76    0.00    0.38    0.07    0.00   92.79

Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdd               0.03         0.00         0.01      43327     384521
sdc               0.08         0.00         0.01     166547     748630
sdb               0.37         0.00         0.02      78269    1076710
sda               8.46         0.00         0.11      54407    7463246

我的服务器 Ubuntu 14.04.4 LTS 以高负载运行，目前运行一个带有 Nginx + Wordpress + W3 Total Cache + Memcached 的站点。

我不确定是否mysql会导致工作量问题。

这是和的屏幕htop截图mytop

我可以从中htop看出内存不是这里的瓶颈。

它表明mysqld并且php-fpm是使用最高资源的进程。

有人能告诉我如何解释mytop吗？它看起来正常吗？

1  [|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||93.6%]     Tasks: 361, 71 thr; 12 running
2  [|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||95.6%]     Load average: 19.52 22.34 19.45 
3  [|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||97.5%]     Uptime: 71 days, 08:54:08
4  [|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||96.8%]
Mem[|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||5570/8015MB]
Swp[                                                                         0/0MB]

MySQL on localhost (5.7.13)
load 23.92 23.12 19.55 43/528 10012 up 7+04:05:52 [05:30:09]
Queries: 103.6M   qps:  175 Slow:  0.0  Se/In/Up/De(%):  79/00/00/00 
Sorts:  8693 qps now:  356 Slow qps: 0.0  Threads:  37 (   1/   3) 79/00/00/00 
Key Efficiency: 50.0%  Bps in/out: 28.8k/532.7k   Now in/out: 57.6k/880.7k

还是我应该考虑使用 fastcgi_cache 来避免命中 php-fpm？

更新：

我尝试重新启动我的所有服务、Nginx、PHP-FPM 和 MySQL。

我在一个流量相当高的网站上工作，每天浏览量为 110 万次。

重新启动所有服务后，资源再次快速上升。

在非高峰时段，我的 4 核机器上的负载值最大约为 4.00。

在高峰时段，负载在 20 到甚至 40 之间。

我有 2 个负载平衡的 apache 虚拟服务器，每分钟处理几千个请求，我正在尝试诊断减慢它们的瓶颈。

我的网络服务器每个都有一个虚拟网卡，他们的 VMWare 主机每个都有 7 个千兆网卡。所有这些物理网卡都馈入 100Mb/s 交换机端口。

起初，我认为 VMWare 主机会聚合所有可用的带宽，并根据需要将其分配给虚拟机。但是，我现在想知道我是否错了。

我的同事向我解释的方式是，如果我在 VM 中只有一个虚拟NIC，它将绑定到单个物理 NIC，而不是汇总所有这些 NIC 的带宽 - 所以在我的情况下，这是受限于交换机端口的带宽为 100 Mb/s。 那是对的吗？

此外，两个 100Mb/s 连接（每台服务器上一个）是否会成为每分钟仅处理 1000-2000 个请求的站点的瓶颈？

基本上我想知道是否可以通过使用像 squid 这样的缓存来加速我的服务器，检查配置中可能出现的错误，优化各种服务器软件参数等。

如果我知道服务器的 ping 时间和时钟速度以及其他硬件参数，是否可以预测提供 1MB 数据的时间。

例如，在我的情况下，我有 1GHz AMD 和 75ms ping，我在 0.6 秒内从核心内存获得 16 kB 页面 - 我可以让它更快吗？-只是在空载时显示页面的时间。

为此目的是否存在任何基准/工具？

编辑我尝试添加 squid 并没有获得任何性能提升。

谢谢。

我们的一个开发箱出现了一个问题，即性能偶尔会下降。发生这种情况时，您可以听到硬盘抖动的声音，但我不知道是什么原因造成的。

这发生在高磁盘访问期间（读/写多 GB 文件），但不是每次都发生，也不是在整个磁盘访问期间发生。这些文件还专门进行了严格的碎片整理，以防止似乎正在发生的那种“寻求颠簸”。

我怀疑问题出在系统的防病毒软件或某些我不知道的磁盘索引服务上（AFAIK，没有任何运行，但是……）。不幸的是，我的 Performance Monitor-fu 非常非常弱（好吧，几乎不存在），我不知道如何确认/反驳我的怀疑或找出真正的罪魁祸首。

更新：

Process Explorer为我找到了罪魁祸首——Java Quick Starter 和 Windows Search 服务。关闭前者会对性能产生显着影响，而关闭后者则会产生巨大影响（尽管没有授予任何文件访问权限）。两者执行的磁盘访问量是任何其他进程的 5-20 倍。

感谢你的帮助！