postgresql的TOAST表

在 PostgreSQL 中,TOAST(The Oversized-Attribute Storage Technique)是一种处理超大数据(如大型文本字段、大型字节数组等)存储的技术。当表中的某些字段非常大,无法直接存储在一个标准 PostgreSQL 数据页中(通常是 8KB),TOAST 就会被用于管理这些超大数据。

TOAST 工作原理

TOAST 通过将超大数据分块存储到专用的 TOAST 表中,并在主表中存储一个指向 TOAST 表的指针来实现其功能。TOAST 主要通过以下方式进行优化:

  1. 压缩:首先尝试使用 PGLZ 算法压缩数据。
  2. 外部存储:如果压缩结果仍然太大,则将数据分块存储在外部的 TOAST 表中。

TOAST 表

TOAST 表是自动生成且完全透明的,用户通常无需直接与 TOAST 表交互。不过,在某些情况下,了解 TOAST 表的细节和内容可能对数据库调优和问题排查有帮助。

每个支持 TOAST 的表在数据库中都会有一个对应的 TOAST 表,该表的名称形式为 pg_toast.pg_toast_<oid>,其中 <oid> 是原始表的对象标识符。

如何识别和查看 TOAST 表

1. 查看发布规则

要查看特定表的 TOAST 表信息,您可以使用以下查询语句:

sql 复制代码
SELECT relname,
       reltoastrelid
FROM pg_class
WHERE relname = 'your_table';

reltoastrelid 字段包含 TOAST 表的 OID。

2. 获取 TOAST 表名称

使用 reltoastrelid 可以查询到实际的 TOAST 表名称:

sql 复制代码
SELECT relname
FROM pg_class
WHERE oid = (SELECT reltoastrelid
             FROM pg_class
             WHERE relname = 'your_table');
3. 查看 TOAST 表内容

要查看 TOAST 表的内容,首先获取 TOAST 表的名称,然后查询其内容:

sql 复制代码
-- 假设找到的 TOAST 表名称为 pg_toast.pg_toast_<oid>

SELECT * FROM pg_toast.pg_toast_<oid>;

TOAST 表的结构

TOAST 表包含以下列:

  • chunk_id: 原始数据行的引用 ID。
  • chunk_seq: 块的序号。
  • chunk_data: 实际的数据块。

这些列用于存储和重建原始大数据字段。

管理 TOAST 行为

您可以使用 ALTER TABLE ... SET STORAGE 语句来控制 TOAST 的行为。通过此操作,您可以更改字段的存储策略,比如将其设置为 EXTERNALMAINPLAIN,或 EXTENDED

sql 复制代码
ALTER TABLE your_table
ALTER COLUMN your_column SET STORAGE EXTERNAL;

示例

以下示例展示如何使用和管理 TOAST 表:

sql 复制代码
-- 创建一个含有大文本字段的表
CREATE TABLE example_table (
    id SERIAL PRIMARY KEY,
    large_text TEXT
);

-- 向 large_text 字段插入超大数据
INSERT INTO example_table (large_text)
VALUES (REPEAT('PostgreSQL ', 10000));

-- 查询 example_table 的 TOAST 表
SELECT relname,
       reltoastrelid
FROM pg_class
WHERE relname = 'example_table';

-- 假设 TOAST 表的 OID 为 12345,可以查询其内容
SELECT * FROM pg_toast.pg_toast_12345;

优化和调优

通过理解和使用 TOAST,您可以做出以下优化:

  1. 选择适当的存储策略:根据字段的大小和访问模式选择合适的存储策略(PLAIN, MAIN, EXTERNAL, EXTENDED)。
  2. 调整 TOAST 压缩策略 :利用 PostgreSQL 的参数 default_toast_compression,可以全局设置 TOAST 的默认压缩方式(如 pglzlz4)。
  3. 管理数据块大小 :通过调整 TOAST_TUPLE_THRESHOLD 等参数,您可以定制超大字段何时及如何被分块存储。

结论

TOAST 是 PostgreSQL 中的一个强大工具,用于管理和优化超大数据的存储。当标准数据页大小不足以存储大字段时,TOAST 通过压缩和分块外部存储来保证系统的运行效率和存储优化。

相关推荐
Olrookie5 分钟前
MySQL运维常用SQL
运维·数据库·sql·mysql·dba
数据库生产实战15 分钟前
ORACLE 19C ADG环境 如何快速删除1.8TB的分区表?有哪些注意事项?
数据库·oracle
hweiyu0030 分钟前
Linux运维实战:云原生设计与实施Docker&K8S(视频教程)
linux·运维·云原生
blackorbird32 分钟前
使用 Overpass Turbo 查找监控摄像头
运维·服务器·数据库·windows
IT永勇36 分钟前
SQLite数据库基本操作
数据库·sqlite·嵌入式开发·增删改查·关系型数据库
洋不写bug38 分钟前
数据库的创建,查看,修改,删除,字符集编码和校验操作
android·数据库·adb
想ai抽1 小时前
吃透大数据算法-算法地图(备用)
大数据·数据库·spark
weixin_307779131 小时前
Clickhouse导出库的表、视图、用户和角色定义的SQL语句
开发语言·数据库·算法·clickhouse·自动化
小白不想白a1 小时前
【shell】每日shell练习(系统用户安全审计/系统日志错误分析)
linux·运维·云原生
流星白龙1 小时前
【Qt】7.信号和槽_connect函数用法(1)
开发语言·数据库·qt