PostgreSQL18新功能COPY命令变得更加用户友好

PostgreSQL 18 于 2024 年 9 月 25 日发布，在所有主要领域引入了许多令人兴奋的新功能。在本系列博客中，我们将深入研究这些功能，并探讨它们如何使数据库开发人员和迁移工程师过渡到 PostgreSQL 受益。

PostgreSQL 18 -- COPY 命令的增强功能

COPY 命令是将平面文件（主要以文本或 CSV 格式）加载到 PostgreSQL 中的默认本机选项。如果您是一名数据工程师或数据库开发人员，正在寻找将平面文件加载到 PostgreSQL 中的方法，则必须注意质量检查并封装一种机制来报告或丢弃失败的记录。

在PostgreSQL 16之前，如果计划在数据库端进行质量检查，一种选择是将平面文件加载到暂存表中，所有列都为文本或通用数据类型，然后将合法和丢弃的数据移动到相关表中。在 PostgreSQL 17 及更高版本中，COPY 命令提供了用于处理数据类型不兼容和使用on_error选项记录失败行或记录的选项。

在 PostgreSQL 18 中，这些功能通过REJECT_LIMIT选项进一步增强。如果总体丢弃或错误行数据超出拒绝限制，则复制命令将作为一个整体丢弃。

PostgreSQL 18 -- 新的REJECT_LIMIT选项。

让我们首先创建示例目标表和具有故意数据类型不匹配问题的 CSV 文件。示例表还定义了 check 和 NOT NULL 约束。

sql 复制代码

CREATE TABLE copy18(
    col1 integer,
    col2 text DEFAULT 'x'::text,
    col3 text NOT NULL,
    col4 text,
    col5 boolean,
    col6 date,
    col7 timestamp without time zone
    CONSTRAINT copy18_col4_check CHECK (length(col4) > 2)
);

CSV 文件在以下行中包含数据类型不兼容：

Timestamp (4th line)
Integer (5th line)
Boolean type (7th line)
Date (8th line)

以下是test.csv文件的内容：

sql 复制代码

--test.csv file.
1,a,a,aaaa,yes,20240101,2024-01-01 12:00:00
2,a,a,aaaa,no,20240102,2024-01-01 12:00:00
3,a,a,aaaa,Y,20240103,2024-01-01 12:00:00
4,a,a,aaaa,N,20240104,2024-01-01 12:00:61
a,a,a,aaaa,1,20240103,20240101010101
999999999999999999999999,1,1,1,0,20241201,20240101010101
5,,a,aaaa,adhoc,20241201,2024-01-01 12:00:51
6,,a,aaaa,false,20241301,2024-01-01 12:00:51

在我们的示例中，我们将使用 psql 命令行中提供的客户端copy命令。它是在 RDS 或 Cloud SQL 等云平台上使用托管 PostgreSQL 时的首选选项之一。如果您想知道 COPY 和 copy 之间的区别，请查看此处。

在PostgreSQL 18中使用拒绝限制控制加载期间的数据质量

如果我们尝试使用on_error选项将相同的 CSV 加载到 PostgreSQL 17 中，它将处理数据并丢弃所有错误，而对总错误数没有任何限制。

sql 复制代码

postgres=# \copy copy18 from 'test.csv' (on_error ignore, format csv, log_verbosity verbose);
NOTICE:  skipping row due to data type incompatibility at line 4 for column "col7": "2024-01-01 12:00:61"
NOTICE:  skipping row due to data type incompatibility at line 5 for column "col1": "a"
NOTICE:  skipping row due to data type incompatibility at line 6 for column "col1": "999999999999999999999999"
NOTICE:  skipping row due to data type incompatibility at line 7 for column "col5": "adhoc"
NOTICE:  skipping row due to data type incompatibility at line 8 for column "col6": "20241301"
NOTICE:  5 rows were skipped due to data type incompatibility
COPY 3
postgres=# table copy18;
┌──────┬──────┬──────┬──────┬──────┬────────────┬─────────────────────┐
│ col1 │ col2 │ col3 │ col4 │ col5 │    col6    │        col7         │
├──────┼──────┼──────┼──────┼──────┼────────────┼─────────────────────┤
│    1 │ a    │ a    │ aaaa │ t    │ 2024-01-01 │ 2024-01-01 12:00:00 │
│    2 │ a    │ a    │ aaaa │ f    │ 2024-01-02 │ 2024-01-01 12:00:00 │
│    3 │ a    │ a    │ aaaa │ t    │ 2024-01-03 │ 2024-01-01 12:00:00 │
└──────┴──────┴──────┴──────┴──────┴────────────┴─────────────────────┘
(3 rows)

如果我们需要控制错误的行并仅在限制范围内接受它，REJECT_LIMIT有助于实现它。它适用于on_error选项。

sql 复制代码

postgres=# \copy copy18 from 'test.csv' (on_error ignore, reject_limit 3, format csv, log_verbosity verbose);
NOTICE:  skipping row due to data type incompatibility at line 4 for column "col7": "2024-01-01 12:00:61"
NOTICE:  skipping row due to data type incompatibility at line 5 for column "col1": "a"
NOTICE:  skipping row due to data type incompatibility at line 6 for column "col1": "999999999999999999999999"
NOTICE:  skipping row due to data type incompatibility at line 7 for column "col5": "adhoc"
ERROR:  skipped more than REJECT_LIMIT (3) rows due to data type incompatibility
CONTEXT:  COPY copy18, line 7, column col5: "adhoc"

当REJECT_LIMIT设置为 3 时，对于第 4 个错误，它失败了 COPY 命令。

附加LOG_VERBOSITY静音选项

LOG_VERBOSITY还提供了一个附加选项 silent 以限制打印或记录的信息。

sql 复制代码

postgres=# \copy copy18 from 'test.csv' (on_error ignore, reject_limit 5, format csv, log_verbosity silent);
COPY 3

结论

使用 PostgreSQL 18 的数据库开发人员可以利用 COPY 命令上新引入的功能：

基于REJECT_LIMIT的选项上基于数据类型不兼容拒绝数据加载ON_ERROR
改进了日志记录，LOG_VERBOSITY具有silent选项。

这些功能简化了数据加载并确保更高的数据质量。