Início / dba / Perguntas / 167531
Accepted
Hassan Baig
Asked: 2017-03-19 13:09:03 +0800 CST

Ficar sem espaço em disco durante a consulta de um banco de dados postgres

  • 772

As consultas SELECT (com JOINs de tabela) em um banco de dados afetam o espaço em disco enquanto estão em execução?

Background: Eu tenho um aplicativo Django com um backend Postgresql (9.3.10). Meu banco de dados reside em uma VM que estava com pouco espaço em disco (cerca de ~400 MB restantes).

Consultei algumas tabelas para avaliar quais dados devem ser preteridos para liberar espaço em disco (isso inclui junções entre tabelas). Essas consultas do tipo analítico foram agrupadas em um único URL e executadas em uníssono. Quando eu bati o URL, a VM contendo meu banco de dados ficou sem espaço após cerca de meio minuto.

Eu sou um DBA acidental e ainda estou aprendendo as cordas. Alguém pode explicar por que fiquei sem espaço neste cenário? Algum tipo de arquivo temporário é criado em tais operações? Compartilharei meus detalhes de configuração caso sejam necessários.

postgresql postgresql-9.3

2 respostas

  1. Best Answer

    Claro, na verdade, existem muitas maneiras de SELECTocupar espaço em disco. Basta olhar para os documentos parawork_mem

    work_mem (integer) Especifica a quantidade de memória a ser usada por operações de classificação interna e tabelas de hash antes de gravar em arquivos de disco temporários. O valor padrão é quatro megabytes (4 MB). Observe que, para uma consulta complexa, várias operações de classificação ou hash podem ser executadas em paralelo; cada operação terá permissão para usar tanta memória quanto esse valor especifica antes de começar a gravar dados em arquivos temporários. Além disso, várias sessões em execução podem estar fazendo essas operações simultaneamente. Portanto, a memória total usada pode ser muitas vezes o valor de work_mem; é necessário ter esse fato em mente ao escolher o valor. As operações de classificação são usadas para ORDER BY, DISTINCT e junções de mesclagem. As tabelas de hash são usadas em junções de hash, agregação baseada em hash e processamento baseado em hash de subconsultas IN.

    Mesmo com um alto work_mema SELECTpode consumir espaço em disco. Você pode, por exemplo, ter uma função necessária que grava diretamente no disco.

    Você pode estar interessado em mitigar isso usandotemp_file_limit

    temp_file_limit (integer) Especifica a quantidade máxima de espaço em disco que um processo pode usar para arquivos temporários, como arquivos temporários de classificação e hash, ou o arquivo de armazenamento para um cursor retido. Uma transação que tentar exceder esse limite será cancelada. O valor é especificado em kilobytes e -1 (o padrão) significa sem limite. Apenas superusuários podem alterar essa configuração.

    • 10

  2. (A resposta de Evan está correta, por favor, aceite a dele, não a minha. Estou adicionando informações suplementares.)

    Sim, algumas operações de classificação e junção podem usar o armazenamento em disco para arquivos temporários.

    Habilite log_temp_filesou execute a consulta com EXPLAIN (VERBOSE, BUFFERS, ANALYZE).

    • 3

relate perguntas