主页 / server / 问题 / 502781
Accepted
Ryan
Asked: 2013-04-26 23:38:32 +0800 CST

对 Varnish 服务器上各种 Linux 命令的影响

  • 772

我知道 Varnish 使用内存映射技术在内存中缓存数据，如果我在一台机器上执行以下命令，Varnish 的整体性能会受到影响吗？

例如

总内存大小 = 4GB，随机生成的虚拟 test.txt = 2GB

1. cat test.txt
2. mv test.txt /another-partition
3. cp test.txt /another-partition
4. mv test.txt /another-dir
5. cp test.txt /another-dir
linux

2 个回答

  1. 答案取决于您的缓存使用的存储后端。

    如果您已将 varnish 配置为使用基于文件的存储，您的文件操作可能会对性能产生影响。

    在具有 4 GB 内存的专用系统上，我建议您使用大小约为 3 GB 的“malloc”作为缓存的存储空间。

    请参阅：https ://www.varnish-cache.org/docs/trunk/users-guide/storage-backends.html

    • 0
  2. Best Answer

    有趣的问题！

    作为参考，来自 VM 子系统作者的这个页面将让您很好地了解可能发生的事情；

    http://linux-mm.org/PageReplacementDesign

    请注意，这实际上很难以当前形式回答（如果您正在谈论文件支持的缓存），因为它取决于缓存的热度、缓存项目的时间以及缓存中每个对象的“热度” .

    假设如下：-

    • 缓存以10G文件为后盾，已经完全填满。
    • 缓存中 3% 的对象占所有命中的 90%。
    • 在任何给定时间，您有大约 80 个已处理连接的并发。
    • 您没有更改默认的 VM 策略。
    • 在该命令之前，页面缓存几乎完全被清漆缓存中的页面填满。
    • 500M 的数据专门分配给系统上运行的其他事物的匿名页面。

    由于你的varnish cache size是10G，内存永远装不下，所以下面的公式比较有代表性

    • 有3500M的页面缓存。
    • 最热的 1750Mb 清漆缓存在“活动”列表中，并受到保护，不会被页面缓存逐出。
    • 较冷的 1750Mb 清漆缓存在“非活动”列表中，不受驱逐保护。
    • 最冷的 6500Mb 清漆缓存不驻留在内存中，而是存在于磁盘上的某个地方。

    因此，以下可能是您运行的所有命令的结果。

    1. 该文件被放入内存并缓存，但默认情况下，缓存中的所有新对象都会发送到“非活动”列表。
    2. 这将从清漆缓存中驱逐 1750MB 的“冷却器/非活动”内存，并将其替换为 catted 文件。
    3. 内核现在被迫将 1750M 的数据写回磁盘（在绝对最坏的情况下）。
    4. IO 等待和设备利用率受到影响，因为您正在读取 2G 文件并写出 1750M 文件。
    5. 97% 的入站请求不受此影响，因为它们需要页面缓存活动部分中最热的 1750Mb 清漆数据！
    6. 3% 的不幸客户希望数据存储在较冷的缓存中。这些家伙现在看到了延迟，因为磁盘利用率已经很高，他们正在排队再次将页面取回页面缓存！由于 catted 文件永远不会被足够快地重新读取，因此页面缓存会驱逐这些页面，以支持 3% 的客户想要一些更酷的数据。

    这绝对是最坏的情况。所以，从广义上讲——影响是什么？

    对 97% 的服务请求没有可忽略的影响。

    在受影响的 3% 中，预计服务的延迟会更高——可能是 500 毫秒。

    但是在这 3% 的不幸请求中，大约 2% 的请求无论如何都会很慢，因为他们想要从 6500Mb 缓存中取出一些东西，而这些东西无论如何都不会在页面缓存中！然而，他们现在确实遭受了高磁盘利用率的困扰。

    因此，总结一下我做作和假设的例子，你会从广义上看到大约 3% 的效率损失。（100% 效率将是每个请求的所有对象都在内存中提供）。

    在这个人为的例子中，“正常”运行的性能效率约为 98%。

    对于不适合内存的缓存来说还不错！

    • 0

相关问题