主页 / dba / 问题 / 280652
Accepted
TheDataGuy
Asked: 2020-12-02 03:15:21 +0800 CST

带有多个小块的 Postgres COPY

  • 772

在 postgres 中，我们可以通过 COPY 将数据导出到文件中。但是所有的数据都会被保存到一个文件中。但我想将该文件分块成小文件。我们可以在导出后执行此操作。

但是有没有办法在复制过程中导出它？

或者在 psycopg2 中我们可以这样做吗？

postgresql copy

3 个回答

  1. Best Answer

    您可以使用一个WHERE条件：

    COPY (SELECT * FROM tab WHERE id % 3 = 0) TO '/dir/file1.csv' (FORMAT 'csv');
COPY (SELECT * FROM tab WHERE id % 3 = 1) TO '/dir/file2.csv' (FORMAT 'csv');
COPY (SELECT * FROM tab WHERE id % 3 = 2) TO '/dir/file3.csv' (FORMAT 'csv');

    这里id代表任何数字列。您还可以使用其他数据类型，并在适当的WHERE条件下以其他方式拆分数据。

    • 2

  2. 但是有没有办法在复制过程中导出它？

    PROGRAM通过该子句支持将 COPY 数据流式传输到程序中。

    Unix 命令split可以进行实际的拆分。例如：

    COPY (<your query>) TO PROGRAM 'split -l 10000 -d - /path/file-';

    这会将输出拆分为按顺序编号的文件，每个文件不超过 10000 行。

    psql 的;PROGRAM也支持该子句。\copy在这种情况下，程序在客户端执行。

    警告：如果导出格式为 CSV 并且存在多行文本字段，则存在将字段拆分为多个文件的风险。

    • 1

  3. 如果您已经有一个大文件并且有足够的磁盘空间，您可以使用以下方法。

    假设您使用复制命令创建了一个大文件；

    COPY (SELECT ... FROM ... WHERE ...) TO '/path/to/file';

    将文件拆分成块（仅限 Linux）；

    split --number=l/10 --numeric-suffixes /path/to/file file_
    • 0

相关问题