我知道这些问题很难回答 :) 但我想了解将服务分离到不同服务器上的影响。
具体来说，我正在建立一个网站，它将有一个媒体服务器（apache 服务静态文件）、一个应用程序服务器（apache 处理 php 文件）、一个主数据库服务器和一个从属数据库服务器。
我打算在媒体和应用服务器上运行 memcached 作为共享池，但想知道这样做是否很昂贵（在时间和资源方面）？显然，每次（从应用服务器）请求 memcached 调用时，它都必须与媒体服务器建立 tcp 连接，确定结果在哪里，然后返回它们。
对于像这样的小型网站设置，在应用服务器上增加内存而不是跨服务器池化内存缓存会更好吗？还是差异如此之小，不值得担心？
尽管我使用 memcached 作为示例，但我希望答案保持相当通用，因为相同的场景可以应用于其他服务（如 db）。
如果是小型网站，我确实认为这种程度的优化是矫枉过正的。
但是有一种方法可以确定：测试它。
我们过去曾使用WCAT来回答此类问题。这是一个很好的工具，可以查看网站在各种负载下的表现。JMeter是另一个很棒的工具。
例如，使用 WCAT，我们最终决定获得一个单独的 Hyper-V 服务器来托管与我们的 Web 应用程序 VM 分开的 DB VM（在本例中为 Fogbugz）。测试表明，即使并发用户数量很少，将 DB VM 与应用 VM 放在同一台机器上也会使应用程序无法使用（CPU 是瓶颈）。
需要回答几个问题才能更好地回答您的问题。
几乎没有足够的信息给出任何可能正确的答案，并且实际运行一些测试/基准将是确定您得到正确答案的唯一方法。
根据您的描述，我最好的猜测是池化会增加单个请求的延迟，但会增加您在陷入困境之前可以处理的总负载。
但是当我说我怀疑它可能会增加单个请求的延迟时，我的意思是在几分之一毫秒到几十毫秒之间，具体取决于您的网络设置。如果您的站点足够繁忙，这将大大超过使用两倍缓存进行更少数据库调用的速度优势。如果媒体服务器和应用服务器的硬件大致相同，那么您的应用服务器很可能会获得大量 CPU 使用率，而媒体服务器的 CPU 将相当空闲，这意味着您实际上可能会在仅使用 memcached 时获得最佳性能媒体服务器而不是应用服务器。
确定优化的唯一方法是测试。测试、基准测试、配置文件等。如果不进行测试，您将永远不知道您是在提高性能还是使其变得更糟。运行端对端测试（换句话说，模拟 Web 客户端发出对文件的所有请求，一个真正的 Web 客户端会）与真实的用户组合（这样你就可以得到缓存命中和未命中的正确组合），两者都是适度的加载和“我们刚刚得到了slashdotted”加载。自动化您的测试，使其易于重复。在两台/所有服务器上使用 memcached 进行测试，仅在一台服务器上，仅在另一台服务器上，一台服务器上的 RAM 比另一台服务器上的 RAM 多，等等...