AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 345647
Accepted
ALZ
ALZ
Asked: 2025-03-10 15:51:13 +0800 CST2025-03-10 15:51:13 +0800 CST 2025-03-10 15:51:13 +0800 CST

O desempenho do pg_basebackup é limitado pelo cache de páginas de arquivos?

  • 772

Tenho o PostgreSQL 15 em execução em um pod do Kubernetes usando a imagem Zalando Spilo, gerenciada pelo Patroni. O contêiner tem um limite de memória de 16 GB e o tamanho do banco de dados é de 40 GB (diretório de dados no disco). Quando reinicializo uma réplica com o Patroni, ele executa "basebackup.sh", que por sua vez executa o comando "pg_basebackup": /usr/lib/postgresql/15/bin/pg_basebackup --pgdata=/home/postgres/pgdata/pgroot/data -X none --dbname='dbname=postgres user=standby host=<Leader IP> port=5432'

Percebi que os primeiros 16 GB são copiados rapidamente, mas o processo fica significativamente mais lento depois (observei que, após a cópia, o tamanho é aproximadamente igual aos limites de memória do contêiner). Aumentar o limite de memória do contêiner para 32 GB mostrou um padrão semelhante: os primeiros 32 GB foram copiados rapidamente e, em seguida, o processo ficou mais lento.

Executando o comando manualmente: /usr/lib/postgresql/15/bin/pg_basebackup --pgdata=/home/postgres/pgdata/pgroot/dummy_dir -X none --dbname='dbname=postgres user=standby host=<Leader IP> port=5432' o problema foi reproduzido. Quando a memória total do contêiner (incluindo cache de páginas e arquivos inativos, que representam uma grande parte da memória RAM do contêiner) atinge o limite, o 'pg_basebackup' fica lento. Outras operações de gravação em disco (por exemplo, gerar e copiar arquivos grandes com 'dd') não são afetadas pelo limite de memória e permanecem rápidas.

Quando 'pg_basebackup' está lento e o limite de memória do contêiner é atingido, tentei descartar o cache de página com: " sync && echo 3 > /proc/sys/vm/drop_caches" e isso tornou 'pg_basebackup' rápido novamente.

O desempenho do 'pg_basebackup' é limitado pelo cache da página de arquivos? Você precisa de alguma informação adicional? Alguma sugestão? Obrigado pela ajuda!

postgresql
  • 1 1 respostas
  • 27 Views

1 respostas

  • Voted
  1. Best Answer
    ALZ
    2025-04-09T19:43:29+08:002025-04-09T19:43:29+08:00

    Responderei minha própria pergunta aqui: (Depois de brincar com o contêiner bruto e o cgroup bruto (systemd-run) e observar o mesmo problema)

    Parece que é um bug no Oracle Linux (OL) 9.2 RHCK Kernel "kernel-5.14.0-284.11.1" (veja a tabela: https://docs.oracle.com/en/operating-systems/oracle-linux/9/boot/oracle_linux9_kernel_version_matrix.html )

    Mudar para o Kernel UEK da mesma versão do OL (9.2) resolveu o problema, mas o UEK não é suportado por alguns SW (por exemplo, Vertica DB), então tentei atualizar os Kernels RHCK: somente o Kernel e as dependências do OL9.4 (kernel-5.14.0-427) e OL9.5 (kernel-5.14.0-503.11.1) - ambos corrigiram o problema, com a observação: suspeita-se que a atualização do RHCK usando um do OL9.5 tenha alguns problemas de compatibilidade de HW (sob investigação). Mais alguns detalhes discutidos aqui: https://www.linuxquestions.org/questions/linux-containers-122/performance-degradation-with-rsync-in-container-or-cgroupv2-with-mem-limit-on-oracle-linux-9-2-rhck-5-14-vs-uek-5-15-a-4175749063/

    • 1

relate perguntas

  • Posso ativar o PITR depois que o banco de dados foi usado

  • Práticas recomendadas para executar a replicação atrasada do deslocamento de tempo

  • Os procedimentos armazenados impedem a injeção de SQL?

  • Sequências Biológicas do UniProt no PostgreSQL

  • Qual é a diferença entre a replicação do PostgreSQL 9.0 e o Slony-I?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve