postgresql timescaladb时序数据库使用入门

postgresql timescaladb时序数据库使用入门

git地址官方文档官方文档-cn

本文基于timescaladb 2.17.2版本,在低版本,相关函数和功能可能有差别。

timescaladb优点

  • 建立在PostgreSQL之上,融入pg生态,可以使用pg的全部特性。
  • 压缩。针对海量时序数据,高压缩率节省空间。不需要特殊的存储格式,列存压缩,并提供查询加速。
  • 持续聚合。在按时间颗粒度统计场景,时序数据通常增长很快,传统方案定时统计时扫描全表会很慢。提供了自动累加方案替代,持续跟踪数据集,视图方式呈现。
  • 丰富的时间窗口函数。

timescaladb超表使用示例

sql 复制代码
-- 使用timescaledb扩展
CREATE EXTENSION IF NOT EXISTS timescaledb;

-- 先创建普通表
CREATE TABLE iot_device_log (
    log_id BIGINT NOT NULL GENERATED ALWAYS AS IDENTITY,
    identity VARCHAR(64) NOT NULL,
    create_time TIMESTAMP NOT NULL
);

-- 创建主键,必须带时间,且时间字段定义必须非空。时序表一般以时间为主键就足够了,若业务上定义有非时间主键,则使用复合主键关联时间序列
ALTER TABLE iot_device_log ADD PRIMARY KEY(log_id, create_time);

-- 将普通表转换为超表,并设置区块划分策略。这里设置每6个小时分一个块
-- 原始表的实际数据,存储在_timescaledb_internal模式的表下,并按分块命名xxx_chunk。涉及数据同步时要注意
SELECT create_hypertable('iot_device_log', by_range('create_time', INTERVAL '6 hours'));

-- 创建数据压缩分段列。建议按业务特性选择分段的列,如该列可能被常用在group by
ALTER TABLE iot_device_log SET (
  timescaledb.compress,
  timescaledb.compress_segmentby = 'identity',
	timescaledb.compress_orderby='create_time DESC'
);

-- 创建数据压缩策略。这里设置每6小时执行一次压缩
SELECT add_compression_policy('iot_device_log', INTERVAL '6 hours');

-- 创建数据保留策略。保留xx内的数据,超过xx的数据块会被删除。这里设置保留1年内的数据
SELECT add_retention_policy('iot_device_log', INTERVAL '1 year');

timescaladb常用运维

sql 复制代码
-- 查看各块和压缩情况
SELECT * FROM timescaledb_information.chunks;

-- 查看压缩效果
SELECT 
    pg_size_pretty(pg_database_size('db_name')) as db_size,
    pg_size_pretty(before_compression_total_bytes) as before,
    pg_size_pretty(after_compression_total_bytes) as after,
	now()
 FROM hypertable_compression_stats('your_hypertable_name');
 
 -- 查看数据库当前连接情况
 SELECT * FROM  pg_stat_activity where datname = 'db_name';

 -- 调整超表已经存在的区块策略
SELECT set_chunk_time_interval('iot_device_log', INTERVAL '6 hours');

-- 删除指定超表的数据保留策略
SELECT remove_retention_policy('iot_device_log');
 
-- 重启压缩。压缩任务停止时尝试使用
-- SELECT _timescaledb_functions.start_background_workers();
相关推荐
阿蒙Amon25 分钟前
C# Linq to SQL:数据库编程的解决方案
数据库·c#·linq
互联网搬砖老肖4 小时前
运维打铁: MongoDB 数据库集群搭建与管理
运维·数据库·mongodb
典学长编程5 小时前
数据库Oracle从入门到精通!第四天(并发、锁、视图)
数据库·oracle
积跬步,慕至千里6 小时前
clickhouse数据库表和doris数据库表迁移starrocks数据库时建表注意事项总结
数据库·clickhouse
极限实验室6 小时前
搭建持久化的 INFINI Console 与 Easysearch 容器环境
数据库
白仑色7 小时前
Oracle PL/SQL 编程基础详解(从块结构到游标操作)
数据库·oracle·数据库开发·存储过程·plsql编程
程序猿小D8 小时前
[附源码+数据库+毕业论文]基于Spring+MyBatis+MySQL+Maven+jsp实现的个人财务管理系统,推荐!
java·数据库·mysql·spring·毕业论文·ssm框架·个人财务管理系统
钢铁男儿9 小时前
C# 接口(什么是接口)
java·数据库·c#
__风__9 小时前
PostgreSQL kv(jsonb)存储
数据库·postgresql
轩情吖10 小时前
Qt的第一个程序(2)
服务器·数据库·qt·qt creator·qlineedit·hello world·编辑框