Início / computer / Perguntas / 1718366
Accepted
King David
Asked: 2022-04-28 15:36:32 +0800 CST

parâmetro do kernel - net.core.netdev_max_backlog , o que aconteceu quando está muito baixo

  • 772

queremos entender quais são os aspectos quando o net.core.netdev_max_backlog valor do kernel é muito baixo e não é o recomendado

em nossas máquinas Linux RHEL, o valor para este parâmetro é1000

uma vez que nossas máquinas são máquinas HADOOP (BIGDATA cluster)

vimos que a melhor prática é aumentar o valor para65536

como descreve em:

https://datasayans.wordpress.com/2015/11/04/performance-kernel-tuning-for-hadoop-environment/

fundo:

O parâmetro do kernel “netdev_max_backlog” é o tamanho máximo da fila de recebimento. Os quadros recebidos serão armazenados nesta fila após serem retirados do buffer de anel na NIC. Use um valor alto para cartões de alta velocidade para evitar a perda de pacotes. Em aplicativos de tempo real como roteador SIP, a longa fila deve ser atribuída com CPU de alta velocidade, caso contrário, os dados na fila ficarão desatualizados (antigos).

então - quais poderiam ser os aspectos quando esse parâmetro do kernel está com valor não insuficiente?

outro - referência - https://gist.github.com/leosouzadias/e37cd189794bb78de502ac25cb605576

https://community.cloudera.com/t5/Community-Articles/OS-Configurations-for-Better-Hadoop-Performance/ta-p/247300

https://www.senia.org/2016/02/28/hadoop-and-redhat-system-tuning-etcsysctl-conf/

https://mapredit.blogspot.com/2014/11/hadoop-server-performance-tuning.html

https://gist.github.com/phaneesh/38b3d80b38cc76abb1d010f598fbc90a

https://docs.datastax.com/en/dse/5.1/dse-dev/datastax_enterprise/config/configRecommendedSettings.html

PDF - https://www.cisco.com/c/dam/en/us/solutions/collateral/data-center-virtualization/big-data/cloudera-intel-cisco-hadoop-benchmark.pdf

linux redhat-enterprise-linux

1 respostas

  1. Best Answer

    Quais poderiam ser os efeitos quando este valor de parâmetro do kernel é insuficiente

    Execute o seguinte comando:

    for i in {1..30}; do date; cat /proc/net/softnet_stat; sleep 1; done

    O seguinte será a saída:

    001c1216 000000b0 00000040 00000000 00000000 00000000 00000000 00000000 00000000 00000000
02fdffa5 000000aa 00000032 00000000 00000000 00000000 00000000 00000000 00000000 00000000

    02fdffa5 é a contagem de pacotes 000000aa é o número de pacotes que foram descartados

    Execute o comando e veja se a quantidade de pacotes que foram descartados aumentou convertendo o valor em decimal. Se o número de pacotes aumentou, aumente net.core.netdev_max_backlogpara um valor apropriado.

    Você pode aumentar temporariamente o valor executando o seguinte comando:

    sysctl -w net.core.netdev_max_backlog=2000

    Você pode tornar o valor permanente executando o seguinte comando:

    echo "net.core.netdev_max_backlog = X" >> /etc/sysctl.conf

    Além disso, um valor de 65536 é excessivo e desnecessário para o desempenho adequado do sistema. Obviamente, você deve alterar Xpara o valor que deseja usar.

    Se a segunda e terceira coluna do softnet_stat não estiver crescendo, é necessário aumentarnet.core.netdev_max_backlog

    Fonte: Como ajustar net.core.netdev_max_backloge sintonizáveis ​​do net.core.netdev_budgetkernel sysctl?

    • 1

relate perguntas