我有一个 nginx 服务器(CentOS 5.3,linux),我在 Rails 应用程序服务器上的 8 个 ruby 前面用作反向代理负载平衡器。随着我们在这些服务器上的负载增加,我开始怀疑 nginx 服务器在什么时候会成为瓶颈?CPU 几乎没有使用,但这是意料之中的。记忆好像还不错。没有IO可言。
那么我对 NIC 的唯一限制带宽是什么?目前,根据一些仙人掌图,服务器在高负载期间每个 NIC 上的速度约为 700Kbps(平均 5 分钟)。我认为这仍然很低。
或者,限制会在套接字或操作系统中的其他资源中吗?
感谢您的任何想法和见解。
编辑:
骑自行车的人:
感谢您的见解。我做了更多的挖掘工作。我有 1 名工人允许 1024 个工人连接。假设 95% 的请求是针对少量数据的。关于 512MB 的系统应该能够处理什么,连接明智的任何建议?
另外,计算连接数的好方法是什么?这样的事情准确吗?:
netstat -np | grep ESTABLISHED | grep nginx | wc -l
结束编辑
亚伦
目前,根据带宽利用率,您的负载非常低。有很多可能的瓶颈,仅举几例:
网络相关
随着连接数量的增加,您可以达到
worker_connections
Nginx 工作进程的限制。racyclist的描述很不错,我就加几分钱。实际上,您拥有的工人越多,您击中worker_connections
一名特定工人的可能性就越大。原因是 Nginx 主进程不能保证工作人员之间的连接分布均匀——其中一些可以比其他人更快地处理请求,因此最终可能会超过限制。我的建议是尽可能少地使用大量
worker_connections
. 但是,如果你有 IO,你将不得不增加工人的数量(见下文)。使用 nginx 的status
模块来观察它使用的套接字数量。您可能会达到操作系统(Linux 或 FreeBSD)对每个进程打开文件描述符数量的限制。Nginx 不仅将描述符用于传入请求,还将用于与后端的传出连接。最初,此限制设置为非常低的值(例如 1024)。Nginx 会在它
error.log
的这个事件中抱怨。如果你正在使用
iptables
它的 conntrack 模块(Linux),你也应该超过conntrack
表的大小。当心dmesg
或/var/log/messages
。根据需要增加此限制。一些非常好的优化应用程序使用 100% 带宽。我敢打赌,您之前会遇到以前的问题。
IO相关
事实上,一个 Nginx 工作程序阻塞了 IO。因此,如果您的站点提供静态内容,您将需要增加 Nginx 工作人员的数量来解决 IO 阻塞问题。在这里很难给出食谱,因为它们会根据文件的数量和大小、加载类型、可用内存等而有很大差异。
如果您通过 Nginx 代理连接到某些后端,您应该考虑到它会创建临时文件来存储后端的答案,并且在高流量的情况下,这可能会导致文件系统上的大量负载。注意 Nginx 中的消息
error.log
并相应地调整proxy_buffers
(或fastcgi_buffers
)。如果您有一些后台 IO(例如 MySQL),它也会影响静态文件服务。注意IO 等待%
它不仅仅是 NIC 的带宽。Nginx 有它可以处理的最大连接数。最大连接数可以通过一个简单的公式计算:“worker_processes”*“worker_connections”。瓶颈将取决于您的应用程序。如果您有许多使用低带宽的连接,那么您更有可能在填充管道之前用完连接。相反,使用大量带宽的少量连接可能会在未达到最大连接数的情况下填满您的管道。
关于开放连接。跟踪它们的最佳方法是检查 /proc/net/ip_conntrack。
现在,关于您的 nginx 问题,没有真正的答案。您只需要对您的设置进行基准测试(使用 httperf 等工具)并查看您可以处理的负载。