我最近推出了一个非常受欢迎的网站,但我在可扩展性方面遇到了问题。我的网站大量使用FFmpeg,在高峰时间 RAM 使用量迅速达到 2 GB 点,并且交换文件开始被使用。CPU 使用率也开始上升。
用户抱怨网站运行缓慢。他们这样说是因为所有 FFmpeg 实例由于同时运行的数量而运行速度非常慢。用户在我的服务器上实时使用 FFmpeg。
我有什么可以考虑或做的事情来减轻服务器和 RAM 的使用量吗?也许有比 FFmpeg (!) 更好的东西。
唯一的解决方案是在更强大的服务器上“扔一些钱”吗?
我提供的信息很少,请多问,这样可以解决这个问题。
好吧,一个简单的解决方案是将 Ffmpeg 任务排队,因此任何时候都只有一个固定数量的任务在运行。你真的应该考虑在与网络服务器不同的机器上运行 Ffmpeg 进程。
这是一个常见的结构问题,而不是内存问题。听起来你要把所有东西都塞进一个盒子里?DB、Web 和 MPG 处理?这不会很好地扩展!
无论您的应用程序如何,任何处理密集型操作都将在使用批处理系统的多台机器上更好地工作。通过将负载分散到多个盒子上,并使真正密集的工作远离 Web 层,您的用户会感谢您!
您的 Web 层应该只为接口提供服务。您应该有 1 台以上的机器专门用于在后台处理视频。一旦准备好,这应该可以由 Web 层提供服务。
我找到的关于这个主题的最佳参考资料是 Flickr 的前 CTO Cal Henderson 的 Building Scalable Websites。上一个链接是亚马逊的,所以你可以以便宜的价格预览这本书。这个指向 Google 图书的链接也可以让您阅读。
祝你好运!
我认为您可能可以做一些事情来提高内存使用率,但是当一切都说完后,您很可能会通过购买更多内存来做得更好。我确信我会因为这个答案而被否决,但我只是在考虑解决这个问题的经济学。
我认为最简单最快的事情就是购买一台新服务器。说真的,我认为具有 32 GB RAM 和 8 个 3.2 GHz 内核的戴尔 2950 只需 8 美元或 1 万加元。很容易花一半的钱,仍然可以获得可以运行大量并行任务并拥有大量 RAM 的东西。您绝对不会被限制为 2 GB 并交换到磁盘。
ffmpeg 非常受 CPU 限制,而不仅仅是内存。该应用程序几乎不会更快,因为该盒子有更多的 RAM - 更多的实例意味着每个运行速度更慢并且使用的 CPU 更少。
除非您可以优化 ffmpeg 本身或使用异步队列,否则您需要获得更多机器。
在您最大限度地利用所有 CPU 之前,主要选择具有足够 RAM 的 CPU 以不开始交换。
冒着听起来像云计算公司的营销机器人的风险,这就是云计算的意义所在。
我强烈建议使用 Amazon EC2 或 Rackspace Cloud 之类的东西。创建一个包含 ffmpeg 的基本图像,以及一个允许从您的应用程序远程调用 ffmpeg 的接口。创建该映像的一些实例,并确保使用所选的云提供商,您能够创建和销毁该映像的实例以匹配负载。然后,您的应用应将所有 ffmpeg 任务委托给您的云服务器,并根据需要同步处理的 ffmpeg 作业的数量来控制启动的云服务器的数量。这将使我认为您的应用程序中的瓶颈、视频转码/等与您的应用程序分开并能够随意扩展。