AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 108682
Accepted
Andy Davis
Andy Davis
Asked: 2015-08-01 07:56:12 +0800 CST2015-08-01 07:56:12 +0800 CST 2015-08-01 07:56:12 +0800 CST

Estranho problema intermitente de desempenho do Postgres (docker?)

  • 772

Estou executando um Postgres 9.3 local em um contêiner docker com um banco de dados temporário usado para algumas operações de importação de arquivo.

O cenário básico é:

  • Carregar arquivos em tabelas de entrada
  • INSERT de um SELECT nas tabelas de saída (transformar)
  • Leia as tabelas de saída

Existem várias tabelas que transformamos com instruções separadas e sequenciais . Estamos enfrentando uma grave degradação de desempenho em duas de nossas etapas de transformação. Muda entre qual dos dois terá o problema e se um tiver, o outro não.

A degradação é ~100x mais lenta, 2 segundos -> 20 minutos para um; e 4 segundos -> 40 minutos para o outro.

As consultas se parecem com:

INSERT INTO target_table (
  field1,
  field2,
  -- elided
  field20,
  member_key,
  source_file_name,
  source_line_number
)
SELECT
  src.field1 as field1,
  src.field2 as field2,
  -- elided
  src.field20 as field20,
  mem.member_key as member_key,
  src.source_file as source_file_name,
  src.source_line as source_line_number
FROM
source_table src
INNER JOIN members mem
ON src.member_identifier = mem.member_identifier;

As duas consultas são quase idênticas, a mais lenta das duas tem mais alguns campos e cerca do dobro das linhas. A mudança 'source_table' e 'target_table', mas ambas as consultas usam a mesma tabela de membros.

Em nosso conjunto de amostra, a primeira tabela de origem tem 360.000 linhas e a segunda tem 600.000 linhas. Não há cláusula where, então a parte SELECT irá operar em todas as linhas.

Essa desaceleração começou a aparecer para nós há cerca de uma semana. A única coisa que mudamos foi criar um conjunto de dados reduzido para trabalhar em problemas de desempenho em outras partes do sistema. Os conjuntos de dados originais para essas consultas eram de 3,6 milhões e 6 milhões de linhas e as inserções nunca demoravam mais do que alguns minutos para serem concluídas.

Outra informação:

  • Isso está sendo executado em uma caixa AWS EC2 i2.2xlarge.
  • SO é Ubuntu 14.04.2 LTS
  • Postgres e o chamador desta consulta estão em contêineres do Docker (separados)
  • A imagem Postgres é a imagem padrão postgres:9.3 executada com postgres -F (desativa o fsync, este é um banco de dados efêmero)
  • Não há mais nada acontecendo na caixa
  • Ao executar a consulta, uma CPU está em 100%, as outras ficam em torno de 0%
  • Ao executar a consulta, top relata um parâmetro 'wa' de 0,0%
  • Quando a consulta estava em execução e travava no estado 100% da CPU, executei apenas a parte SELECT de uma conexão separada. Isso foi concluído em alguns segundos.
  • Ao executar a consulta, a coluna checkpoints_req da tabela pg_stat_bgwriter é 2.
postgresql-9.3
  • 1 1 respostas
  • 1120 Views

1 respostas

  • Voted
  1. Best Answer
    Andy Davis
    2015-08-26T07:08:32+08:002015-08-26T07:08:32+08:00

    Acho que esta é a resposta. Vou atualizar/remover isso se tiver alguma contra-indicação.

    Em nosso caso de uso (reconhecidamente bizarro), as tabelas neste banco de dados efêmero estão sendo carregadas por meio de instruções COPY FROM. Em seguida, começamos a realizar as transformações.

    Minha hipótese é que as estatísticas da tabela não refletem a população de dados real quando as consultas são executadas, causando a geração de um plano de consulta ruim.

    Forcei a execução de uma instrução ANALYZE após o carregamento em massa, mas antes do início das consultas. Isso parece ter resolvido o problema.

    • 0

relate perguntas

  • Otimize o PostgreSQL para muitas atualizações de INSERTS e bytea

  • Desempenho do campo PostgreSQL JSON com documentos grandes

  • Perguntas sobre registro do Postgresql

  • Como transformar o array JSON em array Postgres?

  • Por que o PostgreSQL 9.3 não inicia no Ubuntu?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve