Início / server / Perguntas / 10852
Accepted
Ben Williams
Asked: 2009-05-22 08:18:14 +0800 CST

O que limita o número máximo de conexões em um servidor Linux?

  • 772

Qual parâmetro do kernel ou outras configurações controlam o número máximo de soquetes TCP que podem ser abertos em um servidor Linux? Quais são as vantagens de permitir mais conexões?

Percebi durante o teste de carga de um servidor Apache com ab que é muito fácil maximizar as conexões abertas no servidor. Se você deixar de fora a opção -k do ab, que permite a reutilização da conexão, e enviar mais de cerca de 10.000 solicitações, o Apache atenderá as primeiras 11.000 solicitações e, em seguida, interromperá por 60 segundos. Uma olhada na saída netstat mostra 11.000 conexões no estado TIME_WAIT. Aparentemente, isso é normal. As conexões são mantidas abertas por padrão de 60 segundos mesmo depois que o cliente termina com elas por motivos de confiabilidade do TCP .

Parece que esta seria uma maneira fácil de DoS um servidor e estou querendo saber quais são os ajustes e precauções usuais para isso.

Aqui está minha saída de teste:

# ab -c 5 -n 50000 http://localhost/
This is ApacheBench, Version 2.0.40-dev <$Revision: 1.146 $> apache-2.0
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright 2006 The Apache Software Foundation, http://www.apache.org/

Benchmarking localhost (be patient)
Completed 5000 requests
Completed 10000 requests
apr_poll: The timeout specified has expired (70007)
Total of 11655 requests completed

Aqui está o comando netstat que executo durante o teste:

 # netstat --inet -p | grep "localhost:www" | sed -e 's/ \+/ /g' | cut -d' ' -f 1-4,6-7 | sort | uniq -c 
  11651 tcp 0 0 localhost:www TIME_WAIT -
      1 tcp 0 1 localhost:44423 SYN_SENT 7831/ab
      1 tcp 0 1 localhost:44424 SYN_SENT 7831/ab
      1 tcp 0 1 localhost:44425 SYN_SENT 7831/ab
      1 tcp 0 1 localhost:44426 SYN_SENT 7831/ab
      1 tcp 0 1 localhost:44428 SYN_SENT 7831/ab
performance linux apache-2.2 scaling tuning

8 respostas

  1. Best Answer

    Finalmente encontrei a configuração que realmente limitava o número de conexões: net.ipv4.netfilter.ip_conntrack_max. Isso foi definido como 11.776 e o ​​que quer que eu configure é o número de solicitações que posso atender no meu teste antes de ter que esperar tcp_fin_timeoutsegundos para que mais conexões fiquem disponíveis. A conntracktabela é o que o kernel usa para rastrear o estado das conexões, então, quando estiver cheia, o kernel começará a descartar pacotes e imprimir isso no log:

    Jun  2 20:39:14 XXXX-XXX kernel: ip_conntrack: table full, dropping packet.

    O próximo passo foi fazer com que o kernel reciclasse todas essas conexões no TIME_WAITestado em vez de descartar pacotes. Eu poderia fazer isso acontecer ativando tcp_tw_recycleou aumentando ip_conntrack_maxpara ser maior que o número de portas locais disponibilizadas para conexões pelo ip_local_port_range. Eu acho que uma vez que o kernel está fora das portas locais, ele começa a reciclar as conexões. Isso usa mais conexões de rastreamento de memória, mas parece ser a melhor solução do que ligar, tcp_tw_recyclepois os documentos implicam que isso é perigoso.

    Com esta configuração eu posso rodar ab o dia todo e nunca ficar sem conexões:

    net.ipv4.netfilter.ip_conntrack_max = 32768
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_tw_reuse = 0
net.ipv4.tcp_orphan_retries = 1
net.ipv4.tcp_fin_timeout = 25
net.ipv4.tcp_max_orphans = 8192
net.ipv4.ip_local_port_range = 32768    61000

    A tcp_max_orphansconfiguração não teve nenhum efeito nos meus testes e não sei por quê. Eu pensaria que fecharia as conexões no TIME_WAITestado uma vez que houvesse 8192 deles, mas não faz isso para mim.

    • 73

  2. Você realmente quer ver o que o sistema de arquivos /proc tem a oferecer a esse respeito.

    Nessa última página, você pode achar o seguinte de seu interesse:

    • /proc/sys/net/ipv4/tcp_max_orphans , que controla o número máximo de soquetes mantidos pelo sistema não conectados a algo. Aumentar isso pode consumir até 64kbytes de memória não permutável por soquete órfão .
    • /proc/sys/net/ipv4/tcp_orphan_retries , que controla a quantidade de tentativas antes que um soquete seja órfão e fechado. Há uma nota específica nessa página sobre servidores da Web que é de seu interesse direto...
    • 24

  3. Eu não acho que há um ajuste para definir isso diretamente. Isso se enquadra na categoria de ajuste TCP/IP. Para descobrir o que você pode ajustar, tente 'man 7 tcp'. O sysctl ( 'man 8 sysctl' ) é usado para definir isso. 'sysctl -a | grep tcp' mostrará a maior parte do que você pode ajustar, mas não tenho certeza se mostrará todos eles. Além disso, a menos que isso tenha mudado, os soquetes TCP/IP abertos se parecem com descritores de arquivo. Portanto, esta e a próxima seção nesse link podem ser o que você está procurando.

    • 3

  4. Tente configurar o seguinte também configurando tcp_fin_timeout. Isso deve encerrar TIME_WAIT mais rapidamente.

    net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
    • 2

  5. O estoque apache(1) costumava vir predefinido para suportar apenas 250 conexões simultâneas - se você quisesse mais, havia um arquivo de cabeçalho para modificar para permitir mais sessões simultâneas. Não sei se isso ainda é verdade com o Apache 2.

    Além disso, você precisa adicionar uma opção para permitir cargas de descritores de arquivos mais abertos para a conta que executa o Apache - algo que os comentários anteriores não apontam.

    Preste atenção às configurações do seu trabalhador e que tipo de tempo limite de manutenção de atividade você tem dentro do próprio Apache, quantos servidores sobressalentes você tem em execução ao mesmo tempo e com que rapidez esses processos extras estão sendo eliminados.

    • 2

  6. Você pode reduzir o tempo gasto no estado TIME_WAIT (Set net.ipv4.tcp_fin_timeout). Você pode substituir o Apache por YAWS ou nginx ou algo semelhante.

    As compensações de mais conexões geralmente envolvem o uso de memória e, se você tiver um processo de bifurcação, muitos processos filhos que sobrecarregam sua CPU.

    • 1

  7. O número absoluto de soquetes que podem ser abertos em um único endereço IP é 2^16 e é definido pelo TCP/UDP, não pelo kernel.

    • 0

  8. A ferramenta de benchmarking do servidor Apache HTTP, ab , na versão 2.4 tem a opção -s timeout . Consulte também erro ab (Apache Bench): apr_poll: O tempo limite especificado expirou (70007) no Windows .

    Esta opção resolve seu problema.

    • 0

relate perguntas