Início / dba / Perguntas / 345743
Accepted
Derick Turner
Asked: 2025-03-16 20:08:12 +0800 CST

Por que meu aplicativo MariaDB usa mais memória do que o configurado?

  • 772

Tenho um cluster de servidores de BD Primário->Primário executando o MariaDB 11.4.5. O SO neles foi atualizado do Ubuntu 22.04 para o 24.04 ontem, pois parecia haver algum tipo de vazamento de memória que ocasionalmente fazia com que o OOM Killer matasse o banco de dados e isso parecia uma coisa lógica a se tentar. A versão do BD permaneceu a mesma em todas as atualizações do SO.

Infelizmente, desde então, o aplicativo está consumindo toda a memória disponível no servidor até que o reiniciemos ou ele seja eliminado pelo OOM killer.

Os servidores tinham 40 GB de RAM disponíveis e 11 GB de swap. Usando este SQL (encontrado em outro thread do SE DB

SELECT ROUND(
( @@GLOBAL.key_buffer_size                     
 + @@GLOBAL.query_cache_size 
 + @@GLOBAL.tmp_table_size 
 + @@GLOBAL.innodb_buffer_pool_size 
 + @@GLOBAL.innodb_log_buffer_size 
 + @@GLOBAL.max_connections * ( 
     @@GLOBAL.sort_buffer_size
   + @@GLOBAL.read_buffer_size 
   + @@GLOBAL.read_rnd_buffer_size 
   + @@GLOBAL.join_buffer_size 
   + @@GLOBAL.thread_stack 
   + @@GLOBAL.binlog_cache_size)
) / 1024 / 1024, 1) `total MB`;

A quantidade máxima de memória que deve ser usada é 15 GB. Estou usando btop para assistir os servidores e MemB está atualmente em 35 GB (e subindo)

Voltei ao artigo da KB aqui - https://mariadb.com/kb/en/mariadb-memory-allocation/ e atualizei estas configurações:

query_cache_size= 0 query_cache_type = DESLIGADO key_buffer_size = 10M

e defina o seguinte no servidor Defina swappiness para 5 Desativado Numa

Também alterei as configurações do systemd para o serviço mariadb para ter:

LimitNOFILE=100000
LimitMEMLOCK=524288

# Set maximum allowed memory
MemoryMax=26GB
MemorySwapMax=8GB

OOMScoreAdjust=-600

BlockIOWeight=1000

TasksMax=99%

Nice=-5

Environment=LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libjemalloc.so.2

A saída das variáveis ​​de exibição está disponível aqui - https://docs.google.com/spreadsheets/d/1ev9KRWP8l54FpRrhFeX4uxFhJnOlFkV4_vTCZWipcXA/edit?usp=sharing

O que mais pode estar causando isso?

Notei nos logs de erros que, mesmo que o ouvinte de eventos de pressão de memória do InnoDB seja iniciado, ele nunca é chamado até que a memória do servidor esteja prestes a acabar.

Também aumentei a RAM do servidor para 50 GB, mas isso é mais um emplastro do que uma solução, para me dar tempo de investigar mais a fundo.

Obrigado Derick

Editar - o link agora também tem saída de show global status; e show engine innodb status;

mariadb

1 respostas

  1. Best Answer

    Após discussão na lista de discussão do MariaDB, o problema era devido à biblioteca malloc. Nem o sistema padrão nem as bibliotecas jemalloc funcionaram, com ambas permitindo que a memória completa do servidor fosse consumida.

    Por recomendação, instalei e configurei o TC Malloc em um dos servidores e, neste, o uso de memória para o processo mariadb aumentou para 15/16 GB e então parou. Isso correspondeu ao valor que a consulta de @luuk gerou (e usarei esse daqui para frente para ajuste).

    Usei as instruções aqui para instalar o TC Malloc - https://blackonsole.org/tcmalloc-mariadb-ubuntu-setup/

    apt update && apt install libgoogle-perftools-dev 

# find the tcmalloc path
find /usr/lib -name "libtcmalloc.*"
/usr/lib/x86_64-linux-gnu/pkgconfig/libtcmalloc.pc
/usr/lib/x86_64-linux-gnu/libtcmalloc.a
/usr/lib/x86_64-linux-gnu/libtcmalloc.so.4.5.9
/usr/lib/x86_64-linux-gnu/libtcmalloc.so.4
/usr/lib/x86_64-linux-gnu/libtcmalloc.so

# load the tcmalloc in SystemD MariaDB service
systemctl edit mariadb

# append this config
[Service]
Environment=LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libtcmalloc.so

    e então reiniciei o MariaDB.

    você pode verificar o que está usando para isso executando o comando SQL

    MariaDB [(none)]> show variables like 'version_malloc_library';
+------------------------+--------------------------+
| Variable_name          | Value                    |
+------------------------+--------------------------+
| version_malloc_library | tcmalloc gperftools 2.15 |
+------------------------+--------------------------+
1 row in set (0.001 sec)

    Agora estou implementando isso no restante dos servidores.

    • 3

relate perguntas