Início / dba / Perguntas / 3076
Accepted
David
Asked: 2011-06-01 10:49:38 +0800 CST

Com que rapidez devo esperar carregar dados em um computador de alto desempenho?

  • 772

Estou considerando um modelo em que uso PostgreSQL COPY para copiar dados de um arquivo para uma tabela. Eu queria saber que tipo de desempenho esperar em hardware de ponta. Um intervalo em MB/s seria bom para que eu possa começar a estimar. Se você apenas souber a resposta em outros bancos de dados, eu estaria interessado em comparar.

postgresql performance

2 respostas

  1. Best Answer

    Isso é um pouco difícil de dizer, o que é hardware de ponta?

    Usar o Oracle no armazenamento EMC de 60 MB/s é certamente possível. Usar o mesmo antigo Oracle no exadata pode ser um pouco mais rápido, 300 MB/s e às vezes mais alto, novamente, dependendo da configuração. Um rack completo é mais rápido que meio rack ...

    • 3

  2. @David, é quase certo que você será vinculado ao IO em seu servidor de banco de dados, com as seguintes advertências (comumente entendidas):

    1. Se o seu destino para os COPYusos FUNCTIONs ou TRIGGERs ou FOREIGN KEYs, espere um desempenho mais lento
    2. Se você já criou INDEXes antes COPYde seus dados, os dados serão adicionados ao INDEX, o que tornará as coisas mais lentas.

    A maneira mais rápida de COPYcarregar dados no PostgreSQL é por meio COPYde uma tabela que não possui INDEXes e possui fsync = off, e checkpoint_segments = 50(ou pelo menos algum valor que não seja o padrão de 3) em postgresql.conf. Eu prefiro a seguinte estratégia:

    1. BEGIN
    2. `DROP INDEX my_tbl_idx;
    3. COPY...
    4. CREATE INDEXmy_tbl_idx ON my_tbl
    5. COMMIT
    6. ANALYZE my_tbl

    Eu adiciono explicitamente o ANALYZEdepois do COMMITporque normalmente não quero esperar para pg_autovacuumcomeçar.

    • 1

relate perguntas