主页 / dba / 问题 / 14766
Accepted
Majid Azimi
Asked: 2012-03-11 22:43:34 +0800 CST

从表中复制了多少行

  • 772

我想编写一个脚本来使用COPY.

psql "connection parameters" -c "COPY (SELECT * FROM tbl WHERE insertion_date > 'date') TO STDOUT WITH CSV HEADER;" | bzip2 -c > backup.csv.bz2

现在我想记录有多少行被复制到 zip 文件中？我想在复制时计算它，而不是用另一个命令。

postgresql psql

1 个回答

  1. Best Answer

    更新：由于 Postgres 9.3 plpgsql 可以COPY直接访问处理的行数：

    我最近遇到了同样的问题。我尝试使用 plpgsql 函数，但在 Postgres 9.2 或更早版本中ROW_COUNT没有设置- 。COPY

    您可以只运行两个查询。首先count()，然后COPY。通过简单的查询，这可能是要走的路。但是对于巨大/复杂的查询，这是一种痛苦，并且可以使执行时间加倍。

    我想出了一个使用临时表并在执行之前计算行数的解决方案COPY。

    我为您调整了我拥有的内容，以便您可以通过COPY TO STDOUT管道传输到bzip2，这在 plpgsql 函数中是不可能的：

    1. 创建一个函数，该函数接受一个 SQL 字符串并用它创建一个临时表：

    CREATE OR REPLACE FUNCTION f_copy_prep(_query text)
  RETURNS void AS
$func$
DECLARE
   ct integer;
BEGIN
   -- If you deal with huge results, set more RAM for temp tables locally:
   -- SET temp_buffers = 512MB';  -- example value

   EXECUTE 'CREATE TEMP TABLE cp_tmp ON COMMIT DROP AS (' || _query || ')';

   GET DIAGNOSTICS ct = ROW_COUNT;
   RAISE LOG 'My text here. rows: %', ct;

END
$func$  LANGUAGE plpgsql;
ALTER FUNCTION f_copy_prep(text) SET search_path=public,pg_temp;
REVOKE ALL ON FUNCTION f_copy_prep(text) FROM public;
GRANT EXECUTE ON FUNCTION f_copy_prep(text) TO ???;

    • 函数执行动态 SQL，因此您可以将其用于任何查询。

    • 这本质上是不安全的，因此请以必要的最低权限运行它，撤销公共的所有权利并EXECUTE专门授予受信任的用户。请按照手册中的说明进行操作！

    • 使用 创建临时表ON COMMIT DROP，以便在事务结束时自动删除它。

    • GET DIAGNOSTICS使用-获取行数ROW_COUNT由 中的SELECT语句设置EXECUTE。将其写入日志 - 您的要求。无需单独的count(*).

    2. 从 shell-script 调用通过 bzip2 管道输出

    psql "connection parameters" \
-c "SELECT f_copy_prep('SELECT * FROM tbl WHERE insertion_date > ''date'''); \
    COPY cp_tmp TO STDOUT WITH CSV HEADER;" \
| bzip2 -c > backup.csv.bz2

    • 将两个 SQL 命令放入您的-c参数或将复杂查询放入一个文件并使用该-f参数。全部在一个事务中执行。仅返回最后一个命令的输出 - 符合我们的需要。小心语法 - 多层解释（第一个 shell，然后是 Postgres）。

    • 第一个命令是以查询字符串为参数的上述函数。第二个是COPY TO STDOUT。

    我PostgreSQL 9.1在 Linux 上对此进行了测试，它对我有用：文件中的数据，日志中带有行数的消息。

    • 2

相关问题