主页 / dba / 问题 / 253715
Accepted
BFlat
Asked: 2019-11-21 02:52:50 +0800 CST

将大型 PostgreSQL 表复制到具有有限行数的多个 csv 文件

  • 772

有没有办法使用 sql 函数或已经存在的 psql 函数将一个非常大的表复制到多个 csv 文件中并指定输出文件中允许的最大行数？

例如，一个 3500 万行的表将输出 35 个 100 万行的 csv 文件。

postgresql csv

1 个回答

  1. Best Answer

    如果记录在文本字段中没有嵌入换行符，因此存在严格的 [one line = one record] 映射，您可以将\copy csvin psql 的输出传递给 Unix 命令split。例如：

    \copy (your query here) TO program 'split --lines 1000000' (format csv)

    请参阅split更改输出文件或目标目录名称格式的选项。如果您是超级用户，它也可以在服务器端使用，COPY而不是。\copy

    如果记录可能嵌入了换行符，那就更复杂了，因为使用上述方法，一条记录可能跨越两个连续的文件，使每个文件单独成为无效的 CSV 文件。例如：

    \copy (select E'1st line\n2nd line') TO program 'split --lines 1' (format csv)

    会产生两个文件

    xaa: "1st line

    和

    xab: 2nd line"

    如果目标是将文件连接回单个文件以进行处理，那么没关系，但如果必须单独处理它们，则应考虑使用不同的方法。

    在 psql中是可能的，但有点涉及（而不是用编程语言编写它）。从 PostgreSQL 12 开始，csv 是 psql 中的本机输出格式，因此查询上的游标可能与FETCH 1000000执行实际剪切和检索的语句一起使用。一段应该工作的脚本的骨架如下所示：

    \pset format csv
\pset tuples_only on
begin;
declare c cursor for your-query-here;
fetch 1000000  from c \g file1.csv
fetch 1000000  from c \g file2.csv
... as many times as necessary...
close c;
end;

    因为 psql 中没有循环结构，并且假设您事先不知道需要多少个 fetch 步骤，所以您必须在上一步中生成该脚本，该脚本计算count(*)结果集并向编号文件发出(count(*)+NR-1)/NR时间fetch NR from...命令，例如上面，NR每个文件的记录数在哪里。

    • 5

相关问题