问题[time-wait](server)

我有一个运行 Debian 7 (proxmox) 托管 OpenVZ 容器的遗留系统，我看到一个麻烦的问题，即系统被与运行 apache 前端的 VZ 容器的开放连接所淹没。

发生这种情况时，服务器上的日志会充满数千个“TCP：时间等待桶表溢出 (CT233)”错误。这与来自网络服务器的缓慢响应相结合。我能做些什么来缓解这个问题吗？

在谷歌搜索之后，我对各种 conntrack 设置进行了一些调整，但如果没有更好地了解可能产生的影响（或者，实际上，这是否真的可能有助于任何情况）

为了了解情况是什么，这是今天发生这种情况时“sysctl -a | grep conntrack”的输出：

net.netfilter.nf_conntrack_generic_timeout = 480
net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 120
net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 60
net.netfilter.nf_conntrack_tcp_timeout_established = 345600
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_last_ack = 30
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_close = 10
net.netfilter.nf_conntrack_tcp_timeout_max_retrans = 300
net.netfilter.nf_conntrack_tcp_timeout_unacknowledged = 300
net.netfilter.nf_conntrack_tcp_loose = 1
net.netfilter.nf_conntrack_tcp_be_liberal = 0
net.netfilter.nf_conntrack_tcp_max_retrans = 3
net.netfilter.nf_conntrack_udp_timeout = 30
net.netfilter.nf_conntrack_udp_timeout_stream = 180
net.netfilter.nf_conntrack_icmp_timeout = 30
net.netfilter.nf_conntrack_acct = 0
net.netfilter.nf_conntrack_events = 1
net.netfilter.nf_conntrack_events_retry_timeout = 15
net.netfilter.nf_conntrack_max = 131072
net.netfilter.nf_conntrack_count = 128397
net.netfilter.nf_conntrack_buckets = 32768
net.netfilter.nf_conntrack_checksum = 1
net.netfilter.nf_conntrack_log_invalid = 0
net.netfilter.nf_conntrack_expect_max = 256
net.nf_conntrack_max = 131072

这包括我今天所做的一些更改：我将 nf_conntrack_buckets 从 16384 翻倍到 32768，我将 conntrack_generic_timeout 从 600s 缩小到 480s，并将 conntrack_tcp_timeout_builted 从 5d 缩小到 4d。

在任何给定时间，绝大多数打开的连接都在 TIME_WAIT 中。

我希望有比我推荐的更了解 TCP/内核调优的人。

谢谢！

据我所知，'time_wait' stat 中的 tcp 端口不能使用。但是，在我的实验中，服务器重用了“time_wait”端口？为什么？

首先，在客户端机器中，输入 command ehco 40000 40001 > /proc/sys/net/ipv4/ip_local_port_range。因此，最大 TCP 端口数为 2。

服务器代码

while (1) {
    int len = sizeof(struct sockaddr);
    fd = accept(sfd, &remote, &len);

    read(fd, buf, sizeof(buf));
    close(fd);
}

客户代码

    for (i = 0; i < 3; i++)
    {
        sleep(1);
        pid_t pid = fork();
        if (pid == 0)
        {
            handler();
            exit(0);
        }
    }

 void handler()
 {
      * ............. */

      res = connect(sfd, result->ai_addr, result->ai_addrlen);
      if (res == -1) {
        perror("error");
        exit(1);
      }

      printf("connect\n");
 }

节目

[root@livecd ~]# ./client 
connect
[root@livecd ~]# connect
connect

最多可连接 3 个。我想，最多2个连接。为什么 ？服务器有 2 个 timewait 连接。

[root@livecd ~]# netstat -anp | grep TIME
tcp  192.168.88.131:2016   192.168.88.132:40000  TIME_WAIT                  
tcp  192.168.88.131:2016   192.168.88.132:40001  TIME_WAIT                              

环境

Linux livecd.centos 2.6.32-642.el6.i686 #1 SMP Tue May 10 16:13:51 UTC 2016

服务器配置

[root@livecd ~]# cat /proc/sys/net/ipv4/tcp_fin_timeout 
60
[root@livecd ~]# cat /proc/sys/net/ipv4/tcp_tw_recycle 
0
[root@livecd ~]# cat /proc/sys/net/ipv4/tcp_tw_reuse 
0

客户端配置

[root@livecd ~]# cat /proc/sys/net/ipv4/ip_local_port_range 
40000   40001

重要 的是我也尝试了 ubuntu server 14.04，但得到了相同的结果。

tcp_rfc1337 设置似乎有 TIME-WAIT 暗杀的解决方案。

第一个问题是旧的重复数据可能在新连接中被错误地接受，导致发送的数据损坏。
第二个问题是，由于旧的重复数据包进入新的连接，连接可能会变得不同步并进入 ACK 循环，这将变得不同步。
第三个也是最后一个问题是旧的重复数据包可能会错误地进入新建立的连接并终止新连接。

从我读到的内容来看，为了解决问题，该设置所做的是在套接字处于其 TIME-WAIT 状态时忽略 RST (reset) 数据包。

那么，为什么默认情况下不启用此设置？使用这个有什么缺点？

当我研究阻止 SYN 泛洪攻击时，我实际上了解了这个变量。您认为此设置有助于阻止它们吗？