Início / unix / Perguntas / 510096
Accepted
peterh
Asked: 2019-04-03 08:18:26 +0800 CST

Qual processo (thread do kernel) está fazendo a compactação real do zswap?

  • 772

Posso imaginar na verdade dois locais:

  1. No espaço do kernel pertencente ao processo cuja memória RAM está sendo trocada de entrada/saída
  2. A partir de[kswapd0]

No entanto, pesquisando na fonte do kswapd ( mm/vmscan.c, init/main.c), pude encontrar: kswapd é de thread único e é iniciado em um único thread. (Exceto em sistemas NUMA, onde todas as regiões de memória têm um kswapd diferente. Mas a maioria dos PCs comuns não são sistemas NUMA.)

No entanto, a partir de agora temos um problema. Podemos supor que o disco é muito mais lento que a memória, por isso não precisamos de um kswapd multi-thread para lidar com a E/S do disco. Mas não é esse o caso se precisarmos utilizar também a camada zswap interna. Particularmente a partir de taxas de compactação mais fortes (desinflar), a CPU pode e provavelmente será um gargalo.

Mas kswapd é single-thread.

É verdade?

Está sendo planejado algum kswapd multi-thread? É realmente necessário?

Ps eu encontrei este tópico na lista de discussão do kernel do linux. Trata-se de uma sugestão de patch rejeitada, o que poderia ter ativado o kswapd multi-thread em sistemas não NUMA. Eles estão falando sobre tudo, exceto esse problema do zswap. Talvez não seja relacionado.

Ps2. Contexto:

  1. Eu tenho um sistema Linux altamente sobrecarregado de ram (os processos estão usando muito mais ram do que fisicamente disponível).
  2. A contagem dos processos executados simultaneamente é muito menor do que os núcleos da CPU.
  3. Estou usando intensamente o zswap.
  4. Nesse ambiente, seria muito útil usar todos os núcleos de CPU disponíveis para compactar/descompactar páginas de memória . Minha melhor estimativa atual é que a compactação/descompactação da página está sendo feita por [kswapd0], que é um único thread do kernel. Estou investigando as opções para utilizar todos os núcleos da CPU para compactação/descompactação. Essencialmente, seria uma forma de transformar a capacidade restante da CPU para compensar a falta de memória física.
linux-kernel zswap

1 respostas

  1. Best Answer

    Depois de pesquisar muito, acho que encontrei a resposta.

    A compactação real está sendo feita no arquivo [kswapd].

    O escritor do e-mail de rejeição no tópico citado mostra que a pessoa responsável tinha pelo menos algum motivo pelo qual não comunicou, mas é mais provável que ele simplesmente não soubesse do zswap.

    Instalei a sugestão de patch no meu sistema. Faz kswapdmulti-thread, ou seja, pode comprimir a memória em todos os núcleos da CPU. O patch funciona como charme e causa uma melhoria significativa nos ambientes zswap-ping.

    A prova: sobrecarreguei massivamente meu sistema (qemu com grande consumo de memória + um compressor pxz), tanto a memória quanto a CPU. Depois disso, vejo isso no top:

      PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
  927 root      20   0   12,3g   3,6g   3612 R 141,8  23,1  36006:53 qemu-system-x86
 5017 root      20   0 7607428   4,2g   1580 R  78,4  26,8   2:32.85 pxz
  354 root      20   0       0      0      0 R  53,6   0,0  32:17.28 kswapd0:5
  128 root      20   0       0      0      0 R  45,8   0,0  32:57.42 kswapd0:0
  352 root      20   0       0      0      0 R  40,5   0,0  32:16.80 kswapd0:3
  356 root      20   0       0      0      0 R  36,6   0,0  32:53.58 kswapd0:7
  350 root      20   0       0      0      0 R  35,3   0,0  31:15.53 kswapd0:1
  353 root      20   0       0      0      0 R  35,3   0,0  30:48.00 kswapd0:4
  351 root      20   0       0      0      0 R  28,1   0,0  31:57.45 kswapd0:2
  355 root      20   0       0      0      0 R  27,5   0,0  31:44.12 kswapd0:6

    Sim, também significa o seguinte:

    • o kswapd multi-thread aumenta enormemente o desempenho do zswap ,
    • não está incluído no kernel da linha principal,
    • sim, é provável por incompetência ou no medo da instabilidade.

    Os parâmetros zswap que usei no meu ambiente de teste foram os seguintes (podem ser configurados em /sys/modules/zswap/parameters):

    same_filled_pages_enabled:Y
enabled:Y
max_pool_percent:50
compressor:deflate
zpool:z3fold
accept_threshold_percent:90
    • 0

relate perguntas