主页 / server / 问题 / 659295
Accepted
Halfgaar
Asked: 2015-01-14 16:28:32 +0800 CST

IO 任务在 3Ware 9650SE 上很容易互相饿死

  • 772

我有一台带有 3Ware 9650 SE RAID 控制器的服务器（Debian 6 LTS）。有两个阵列，一个RAID1，一个RAID6。它运行 Xen 4.0，大约有 18 个 DomU。问题是我体验到 IO 任务很容易互相饿死。当一个 DomU 生成大量 IO 时会发生这种情况，一次阻塞其他人几分钟，但它也只是在dd'ing 时发生。

要将 DomU 从繁忙的 RAID 阵列中移出，我使用了 dd。这样做时，我的 Nagios 不仅报告其他 VM 没有响应，而且我在 Dom0 上收到了以下通知：

[2015-01-14 00:38:07]  INFO: task kdmflush:1683 blocked for more than 120 seconds.
[2015-01-14 00:38:07]  "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[2015-01-14 00:38:07]  kdmflush      D 0000000000000002     0  1683      2 0x00000000
[2015-01-14 00:38:07]   ffff88001fd37810 0000000000000246 ffff88001f742a00 ffff8800126c4680
[2015-01-14 00:38:07]   ffff88000217e400 00000000aae72d72 000000000000f9e0 ffff88000e65bfd8
[2015-01-14 00:38:07]   00000000000157c0 00000000000157c0 ffff880002291530 ffff880002291828
[2015-01-14 00:38:07]  Call Trace:
[2015-01-14 00:38:07]   [<ffffffff8106ce4e>] ? timekeeping_get_ns+0xe/0x2e
[2015-01-14 00:38:07]   [<ffffffff8130deb2>] ? io_schedule+0x73/0xb7
[2015-01-14 00:38:07]   [<ffffffffa0175bd6>] ? dm_wait_for_completion+0xf5/0x12a [dm_mod]
[2015-01-14 00:38:07]   [<ffffffff8104b52e>] ? default_wake_function+0x0/0x9
[2015-01-14 00:38:07]   [<ffffffffa01768c3>] ? dm_flush+0x1b/0x59 [dm_mod]
[2015-01-14 00:38:07]   [<ffffffffa01769b9>] ? dm_wq_work+0xb8/0x167 [dm_mod]
[2015-01-14 00:38:07]   [<ffffffff81062cfb>] ? worker_thread+0x188/0x21d
[2015-01-14 00:38:07]   [<ffffffffa0176901>] ? dm_wq_work+0x0/0x167 [dm_mod]
[2015-01-14 00:38:07]   [<ffffffff81066336>] ? autoremove_wake_function+0x0/0x2e
[2015-01-14 00:38:07]   [<ffffffff81062b73>] ? worker_thread+0x0/0x21d
[2015-01-14 00:38:07]   [<ffffffff81066069>] ? kthread+0x79/0x81
[2015-01-14 00:38:07]   [<ffffffff81012baa>] ? child_rip+0xa/0x20
[2015-01-14 00:38:07]   [<ffffffff81011d61>] ? int_ret_from_sys_call+0x7/0x1b
[2015-01-14 00:38:07]   [<ffffffff8101251d>] ? retint_restore_args+0x5/0x6
[2015-01-14 00:38:07]   [<ffffffff81012ba0>] ? child_rip+0x0/0x20

我尝试了截止日期和 cfq 调度程序。blkback使用 CFQ，如果我将后端进程设置为实时 IO 优先级，它不会使 DomU 响应更快。

我给 Dom0 一个 10000 的 sched-cred，因为它需要更高的权重来为 DomU 的所有 IO 提供服务（在我的情况下并没有做太多其他事情）。但无论我设置什么，它都不应该影响dd命令并且kdmflush它被阻止，因为这都是 Dom0。

这是tw_cli输出（只是有一个损坏的磁盘，因此正在初始化。它是不相关的，因为问题已经存在很长时间了）：

Unit  UnitType  Status         %RCmpl  %V/I/M  Stripe  Size(GB)  Cache  AVrfy
------------------------------------------------------------------------------
u0    RAID-6    INITIALIZING   -       89%(A)  256K    5587.9    RiW    ON     
u2    RAID-1    OK             -       -       -       1862.63   RiW    ON     

VPort Status         Unit Size      Type  Phy Encl-Slot    Model
------------------------------------------------------------------------------
p1    OK             u0   1.82 TB   SATA  1   -            WDC WD2000FYYZ-01UL 
p2    OK             u0   1.82 TB   SATA  2   -            ST32000542AS        
p3    OK             u0   1.82 TB   SATA  3   -            WDC WD2002FYPS-02W3 
p4    OK             u0   1.82 TB   SATA  4   -            ST32000542AS        
p5    OK             u0   1.82 TB   SATA  5   -            WDC WD2003FYYS-02W0 
p6    OK             u2   1.82 TB   SATA  6   -            WDC WD2002FYPS-02W3 
p7    OK             u2   1.82 TB   SATA  7   -            WDC WD2002FYPS-02W3 

Name  OnlineState  BBUReady  Status    Volt     Temp     Hours  LastCapTest
---------------------------------------------------------------------------
bbu   On           Yes       OK        OK       OK       0      xx-xxx-xxxx

我真的觉得这很奇怪和烦人。我有一种感觉，这是 RAID 控制器的一个怪癖。其他具有软件 RAID 的机器性能要好得多。

我希望任何人都可以启发我。

linux

1 个回答

  1. Best Answer

    答案原来是我询问的一个相关问题的答案，即在哪个设备上更改调度设置。长话短说，由于某种原因，该服务器将其设备配置为多路径，这意味着您不会更改调度程序/dev/sdc，而是/dev/dm-1（在我的情况下）。结果不言自明，机器不再互相打扰：

    在此处输入图像描述

    事实上，对于共享存储上的虚拟机，deadline scheduler 比 CFQ 工作得更好。

    • 1

相关问题