De acordo com um comentário sobre esta pergunta que fiz sobre conexões ociosas no PostgreSQL 9.2 , algumas transações não confirmadas (possivelmente relacionadas a algumas dessas conexões ociosas) podem causar alguns problemas de desempenho.
Qual é uma boa maneira de determinar se há transações não confirmadas (pontos de bônus se houver uma maneira de saber se a conexão em que estão está ociosa ou não)?
Muito obrigado!
Algumas consultas no meu servidor de banco de dados parecem demorar muito para responder e acredito que o uso da CPU seja alto. Ao executar ps aux, vejo ~ 250 conexões "ociosas" (que acredito serem demais). Ainda não comecei a fazer um diagnóstico completo, mas queria saber se este é um bom lugar para começar a procurar.
Também estou usando o PgBouncer com pool de nível de transação. Estou suspeitando que posso reduzir facilmente o número de idleconexões ajustando o tamanho do pool. No entanto, não quero começar a fazer muitas alterações, a menos que haja um bom motivo para fazê-lo.
Muitas idleconexões no PostgreSQL 9.2 podem afetar o desempenho?
Muito obrigado!
Supondo que haja um índice idx_intem uma int_colcoluna, qual é a complexidade algorítmica de uma consulta como essa?
SELECT id FROM table
WHERE table.int_col > 1;
Estou especificamente interessado em saber se a consulta é significativamente mais ineficiente do que se fizer uma cláusula de igualdade (que, se bem entendi, é O(log N)). Tenho certeza de que ambos podem usar uma árvore B, então espero que eles sejam quase os mesmos em termos de complexidade / eficiência.
Muito obrigado!
Precisa saber como o PostgreSQL ordena os registros no disco. Nesse caso, gostaria de aproveitar a combinação de índices conforme indicado no docs , que, pelo que entendi, usa bitmaps para obter linhas correspondentes e retorná-las de acordo com sua localização física. A tabela em questão foi agrupada por sua chave primária.
Pelo que entendi, o PostgreSQL não continua automaticamente fazendo clustering depois que um clustering é concluído (embora lembre-se de que ele foi clusterizado de acordo com um determinado índice). Agora, como essa é a chave primária, gostaria de saber se a ordem de armazenamento físico seria de acordo com isso (que, se for verdade, gostaria de usar a nosso favor para uma consulta específica).
Em resumo, como o PostgreSQL ordena seus novos registros, especialmente após o agrupamento?
Muito obrigado!
Tentando descobrir como devo esperar que meu banco de dados seja executado. Basicamente, preciso determinar quando o servidor que configurei está atingindo seus limites de desempenho - o que me ajudaria a planejar melhor o escalonamento do servidor.
Esta questão visa mais as maneiras pelas quais posso calcular ou estimar (realmente, qualquer ideia disso seria boa) o desempenho esperado. Idealmente, isso deve me ajudar a criar uma fórmula que possa ser executada com base em vários fatores (como tamanho do registro, número de linhas etc.), em vez de uma suposição subjetiva baseada em um servidor / banco de dados específico.
Então, qual é uma boa maneira de determinar o desempenho esperado em um servidor PostgreSQL?
Muito obrigado!
Usando SQLAlchemy para consultar um banco de dados PostgreSQL atrás de PgBouncer, usando pooling em nível de transação.
Qual é o melhor padrão a ser usado para esse tipo de configuração? Devo ter um mecanismo por processo, usando um ConnectionPool, ou devo criar um mecanismo por solicitação e usar NullPoolpara cada um deles? Existe um padrão completamente diferente que eu deveria usar?
Muito obrigado! Deixe-me saber se mais informações são necessárias e atualizarei o mais rápido possível.
Criamos uma imagem de um de nossos servidores de banco de dados na Rackspace. Em seguida, criamos um novo servidor usando essa imagem, esperando que as coisas funcionem. No entanto, o desempenho do índice que vimos parece ser ruim, e até mesmo os planos de consulta, ao comparar as explain analyzesaídas do primeiro servidor com o segundo, foram diferentes. Basicamente, o segundo servidor - aquele que foi restaurado a partir de uma imagem salva - não parece depender de índices como deveria.
Existe algo relacionado à restauração da imagem que causaria esse comportamento? Em caso afirmativo, o que pode ser necessário para corrigir o problema? Devo procurar em outro lugar?
Muito obrigado! Posso fornecer mais informações, se necessário, então deixe-me saber se isso seria útil.
Se eu configurar um arquivo de configuração pgbouncer.ini com várias entradas de banco de dados, o pgBouncer criará um pool separado para cada um? Eu acho que sim, mas não fui capaz de confirmar isso.
Por exemplo, com algo assim:
[bancos de dados] db1 = ... db2 = ... [pgbouncer] . . . max_client_conn = 480 default_pool_size = 250
Eu teria um pool padrão de 250 para cada banco de dados e um máximo de 480, ou um total de 250 padrão e máximo de 480 conexões compartilhadas entre ambos?
Muito obrigado!
Usando o PostgreSQL, temos várias centenas de processos simultâneos fazendo acesso regular ao banco de dados. Temos nossos dados espalhados por vários servidores de banco de dados, cada um dos quais abriga um pool de conexão com o PgBouncer. O problema é que o uso de RAM (via top- não tenho certeza se esta é a melhor maneira de determinar isso) tende a subir para quase ou 100%, em todos os servidores. Tenho certeza de que isso é ruim.
Eu tentei várias configurações de pgbouncer / postgres e, eventualmente (após alguns minutos do meu sistema em execução), o uso de RAM sobe para este ponto.
Minhas perguntas são:
Muito obrigado! Deixe-me saber se mais informações são necessárias e tentarei postar o mais rápido possível.
Editar: ao executar vmstat 1 por um tempo, recebo isto:
procs -----------memória---------- ---swap-- -----io---- --sistema-- -----cpu ----- rb swpd free buff cache si so bi bo in cs us sy id wa st 0 34 241048 20124 10208 2636248 340 80 1820 2968 3846 2864 12 14 0 73 1 0 56 240980 19256 10224 2636860 360 140 2568 6100 5773 4874 13 20 0 66 1 0 56 240916 19876 10244 2635528 476 188 3760 3740 7347 5898 21 27 0 52 1 1 32 240896 19512 10260 2635532 448 240 3192 4720 5426 4295 15 21 1 63 1 1 72 240844 19884 10280 2633332 728 216 3620 4424 7867 6927 16 27 0 56 1 1 62 240568 19884 10292 2633640 404 0 3780 3176 6546 5376 16 21 0 62 1 2 42 240348 31044 10296 2623100 460 0 2844 3992 6215 5181 19 20 0 60 1 0 55 240116 20628 10304 2633396 360 0 3288 4264 6749 5958 15 26 0 59 1 0 71 239896 19884 10300 2632892 624 56 3804 4780 6682 6191 14 22 0 64 1 2 59 239660 19016 10304 2633980 380 4 3324 3524 6429 5233 15 22 0 63 1 3 49 239540 27572 10312 2625460 280 92 2820 2764 5424 4533 13 19 0 66 1 1 58 239272 19264 10316 2632580 676 0 3844 3512 7558 6122 17 27 0 55 1 1 51 239116 41816 10312 2609204 316 48 3156 3352 5730 4689 16 22 0 62 1 2 60 238804 74420 10288 2577096 596 0 3296 3880 7080 5153 17 27 0 55 1 3 64 237500 93516 10272 2562168 372 0 3296 2964 6878 5568 16 30 0 54 1 0 39 237308 106660 10288 2548092 284 0 1140 3772 4477 3615 10 16 0 74 1 2 60 237052 119680 10288 2534584 596 0 2956 4688 6976 5747 22 27 0 51 1 1 70 236772 118440 10284 2530824 532 0 2956 3744 7991 6406 20 34 0 45 1 0 76 236464 123136 10292 2525108 564 0 2940 4564 6940 6000 16 28 0 56 1 1 67 236212 139520 10296 2508848 328 0 2896 2660 5471 4493 15 21 0 64 1 0 36 235960 151796 10244 2495876 584 48 2392 3824 5744 4380 13 24 0 61 1 1 65 235700 141264 10240 2506308 432 0 2564 5412 6870 6069 16 25 4 55 1 0 51 235352 135560 10240 2512036 324 0 2836 3620 7448 6674 20 25 0 54 1 2 71 235180 130352 10228 2517284 292 0 2236 5276 6477 5511 14 24 0 62 1 3 74 234880 127624 10228 2519252 528 0 2704 4268 7159 6017 15 26 0 59 1 1 49 234668 126632 10216 2519648 400 0 2440 3860 4797 4144 13 16 0 70 1 2 51 234436 147588 10204 2499160 296 0 1896 3664 5565 4449 15 20 0 65 0 1 56 234244 142132 10196 2504652 244 0 2320 4628 5162 4641 13 20 0 66 1 2 64 234068 138908 10200 2507900 352 0 2276 3960 6161 5640 14 20 0 65 1 2 69 233844 134336 10200 2512368 332 0 1872 3792 5404 4720 12 18 0 70 1 0 51 233564 130492 10200 2516328 236 0 2068 3860 4780 4345 10 18 0 71 1 2 66 233328 124912 10204 2521172 364 0 2480 4532 6694 6401 13 23 0 63 1 1 53 233068 118340 10212 2526236 252 0 2652 2972 6548 5481 18 28 0 54 1 1 66 232852 112388 10216 2531388 352 0 2592 4656 7537 6520 25 26 0 49 1 1 27 232628 126772 10220 2517960 252 0 2332 3344 3670 2787 9 11 0 78 1 3 74 232376 119208 10236 2524356 500 0 3024 5568 9162 7131 21 33 0 45 1 0 29 232192 113876 10236 2529992 280 0 2180 5976 4703 3668 12 14 0 73 1 2 81 231912 108296 10244 2535604 496 0 2864 4532 7717 6603 19 24 0 57 1 1 55 230600 107304 10260 2540572 400 0 2780 3908 6542 5568 15 26 0 58 1 2 54 230356 101972 10268 2545692 220 0 2224 6044 5942 5082 15 23 0 62 1 2 47 230044 113504 10272 2534088 180 0 2620 5820 7214 6138 16 23 0 61 1 0 24 229872 110280 10272 2537612 152 0 2000 5312 3610 2813 8 12 0 79 1 3 30 229816 106684 10276 2541068 24 0 1116 5880 4148 2923 12 15 0 73 1 0 67 229536 100484 10276 2546612 260 0 3084 3656 7847 7088 20 28 0 51 1 0 50 229240 95152 10280 2552164 388 0 2648 4432 6670 5479 17 22 0 61 1 2 52 229060 89944 10288 2557044 268 0 2388 3780 5916 5029 22 22 0 55 1 2 55 228828 85604 10292 2561036 252 0 2032 3152 6003 5416 16 20 0 64 1 1 67 228632 81016 10292 2565560 164 0 2472 3896 5842 5113 15 21 0 64 1 0 29 228420 77792 10296 2568708 264 0 2588 3496 4775 3954 10 18 0 71 1 0 13 228340 77048 10296 2569728 60 0 1000 15576 1620 676 3 4 0 93 1 3 31 228276 75064 10300 2570736 44 0 928 7840 3764 2959 12 12 0 75 1 4 56 227976 72212 10300 2573832 368 0 2976 3880 6327 5287 20 23 0 56 1 2 52 227700 69236 10300 2576308 256 0 2336 4128 7586 5988 17 27 0 55 1 0 38 227452 66508 10304 2579332 240 0 2916 3400 5230 4456 14 18 0 68 1
Vendo desempenho de consulta que não é satisfatório em nossa aplicação Python, que executa diversos processos que utilizamos SQLAlchemy corepara acessar um banco de dados PostgreSQL 9.2. Podemos ter cerca de 100-200 ou mais processos simultâneos executando consultas no banco de dados .
Não temos sistemas de pooling de conexão como pgpoolIIou pgbounceatualmente instalados.
Testei uma consulta que pode levar de 1 a 10 segundos de nosso aplicativo, que quando executada psqlleva no máximo 20 ms .
Acreditamos que esse problema esteja relacionado a conexões simultâneas, principalmente por causa do comportamento descrito acima e porque vemos esses problemas de desempenho ao acessar tabelas diferentes no sistema. No entanto, não temos certeza disso e poderíamos aceitar prontamente sugestões ou soluções alternativas.
Qual é a maneira usual de lidar com conexões simultâneas de vários processos em um único servidor de banco de dados, de forma a permitir que as consultas sejam executadas rapidamente?