主页 / user-126521

espenfjo's questions

Martin Hope
espenfjo
Asked: 2013-06-26 23:34:51 +0800 CST
  • 8

我们将在大约 1000 台服务器上推出 Tuned（和 numad），其中大多数是 NetApp 或 3Par 存储上的 VMware 服务器。

根据 RedHat 文档，我们应该选择virtual-guest配置文件。它在做什么可以在这里看到：tuned.conf

我们正在将 IO 调度程序更改为 NOOP，因为 VMware 和 NetApp/3Par 都应该为我们进行足够的调度。

但是，经过一番调查后，我不确定它们为什么会增加vm.dirty_ratio并且kernel.sched_min_granularity_ns.

据我了解，增加到vm.dirty_ratio40% 将意味着对于具有 20GB 内存的服务器，除非vm.dirty_writeback_centisecs首先命中，否则 8GB 在任何给定时间都可能是脏的。并且在刷新这些 8GB 时，应用程序的所有 IO 都将被阻塞，直到脏页被释放。

增加dirty_ratio 可能意味着更高的峰值写入性能，因为我们现在拥有更大的缓存，但是当缓存填满时，IO 将被阻塞相当长的时间（几秒钟）。

另一个是他们为什么要增加sched_min_granularity_ns. 如果我理解正确，增加这个值将减少每个 epoch( sched_latency_ns) 的时间片数，这意味着正在运行的任务将有更多时间来完成它们的工作。我可以理解这对于线程很少的应用程序来说是一件非常好的事情，但例如。apache 或其他具有大量线程的进程会不会适得其反？

linux
Martin Hope
espenfjo
Asked: 2013-06-07 06:57:46 +0800 CST
  • 43

以前有人问过这个问题，但我相信世界已经发生了足够大的变化，可以再次提出这个问题。

irqbalance 在我们拥有支持 NUMA 的 CPU 并在它们的内核之间共享内存的今天的系统上有什么用处吗？

运行irqbalance --oneshot --debug显示现代 VMware ESXi 环境中的虚拟来宾正在内核之间共享 NUMA 节点。

# irqbalance --oneshot --debug 3
Package 0:  numa_node is 0 cpu mask is 0000000f (load 0)
    Cache domain 0:  numa_node is 0 cpu mask is 0000000f  (load 0)
            CPU number 0  numa_node is 0 (load 0)           
            CPU number 1  numa_node is 0 (load 0)
            CPU number 2  numa_node is 0 (load 0)
            CPU number 3  numa_node is 0 (load 0)

在这种情况下，irqbalance 将检测到它正在 NUMA 系统上运行，然后退出。这扰乱了我们的过程监控。

我们应该考虑在这样的系统上运行numad而不是 irqbalance 吗？

这对于 VMware 虚拟化服务器来说非常有趣。

linux
Martin Hope
espenfjo
Asked: 2012-07-04 09:58:05 +0800 CST
  • -1

我有点坚持我的实验。

我有一个看起来有点像这样的网络。

        | Internet |
             |
    ----  |Switch| ---- 
    |                  |
Server w/pub IP       | DD-WRT router 192.168.1.1 |
                           |
                         RFC1918 clients 192.168.1.0/24

我想要的是让 RFC1918 客户直接相互交谈。

在具有公共 IP 的服务器上，我有这条路由：192.168.1.0/24 dev eth0 scope link并且可以看到数据包实际上到达了 192.168.1.1 的 dd-wrt ​​路由器，即使我没有得到回答。

尝试从公共 IP 服务器访问其中一个 RFC1918 客户端将不会得到任何结果，因为 dd-wrt ​​路由器没有在其外部接口上宣布该网络（arp who-has 192.168.1.107 tell xxx.xxx.xxx.xxx，但没有应答）。

作为 WLAN dd-wrt ​​路由器的路由器当然有大量路由、VLAN 和接口：

xxx.xxx.xxx.1 dev vlan2  scope link 
192.168.1.0/24 dev br0  proto kernel  scope link  src 192.168.1.1 
192.168.1.0/24 dev eth1  proto kernel  scope link  src 192.168.1.244 
84.215.64.0/18 dev vlan2  proto kernel  scope link  src xxx.xxx.xxx.xxx 
169.254.0.0/16 dev br0  proto kernel  scope link  src 169.254.255.1 
127.0.0.0/8 dev lo  scope link 
0.0.0.0 via xxx.xxx.xxx.1 dev vlan2

xxx.xxx.xxx.xxx是公共 IP，并且xxx.xxx.xxx.1是公共 IP 的默认路由。

我不知道在哪里继续这个。我会发现我都需要在 dd-wrt ​​路由器上进行路由，以及一些 iptables 魔法？

为什么要做这么复杂的事情？为什么不 ;）

另外，不要介意“互联网”可以获得 RFC1918 流量，它不会走出墙外。

编辑 1：根据 stew 的提示，我确实得到了正确的 ARP 流。并添加一个 iptables 规则以允许来自该特定公共 IPd 机器的流量我在系统之间获得流量！

奇怪的是，我从服务器 w/pub IP -> RFC1918 客户端获得的速度与将流量路由到 Internet 并返回一样。

编辑 2：好的，断开外部 Internet 连接仍然会产生同样糟糕的传输速度。所以它必须是别的东西。

编辑 3：好的，我想这种糟糕的速度还有其他原因。结案。:)

router linux routing networking rfc