Início / dba / Perguntas / 280652
Accepted
TheDataGuy
Asked: 2020-12-02 03:15:21 +0800 CST

Postgres COPY com vários pequenos pedaços

  • 772

No postgres, podemos fazer COPY para exportar os dados para o arquivo. Mas todos os dados serão salvos em um arquivo. Mas eu quero dividir esse arquivo em arquivos pequenos. Podemos fazer isso após a exportação.

Mas existe uma maneira de exportá-lo durante o processo de CÓPIA?

OU em psycopg2 podemos fazer isso?

postgresql copy

3 respostas

  1. Best Answer

    Você pode usar uma WHEREcondição:

    COPY (SELECT * FROM tab WHERE id % 3 = 0) TO '/dir/file1.csv' (FORMAT 'csv');
COPY (SELECT * FROM tab WHERE id % 3 = 1) TO '/dir/file2.csv' (FORMAT 'csv');
COPY (SELECT * FROM tab WHERE id % 3 = 2) TO '/dir/file3.csv' (FORMAT 'csv');

    Aqui idsignifica qualquer coluna numérica. Você também pode usar outros tipos de dados e dividir os dados de outras maneiras com uma WHEREcondição apropriada.

    • 2

  2. Mas existe uma maneira de exportá-lo durante o processo de CÓPIA?

    O streaming dos dados COPY em um programa é suportado por meio da PROGRAMcláusula.

    O comando Unix splitpode fazer a divisão real. Por exemplo:

    COPY (<your query>) TO PROGRAM 'split -l 10000 -d - /path/file-';

    Isso dividirá a saída em arquivos numerados sequencialmente que não excedam 10.000 linhas cada.

    A PROGRAMcláusula também é suportada pelo psql \copy; nesse caso, o programa é executado do lado do cliente.

    Advertência: se o formato de exportação for CSV e houver campos de texto de várias linhas, há o risco de dividir um campo em vários arquivos.

    • 1

  3. Se você já tem um arquivo grande e tem espaço em disco suficiente, pode usar o método abaixo.

    Suponha que você tenha criado um arquivo grande com o comando copy;

    COPY (SELECT ... FROM ... WHERE ...) TO '/path/to/file';

    Divida os arquivos em partes (somente Linux);

    split --number=l/10 --numeric-suffixes /path/to/file file_
    • 0

relate perguntas