梧桐数据库表格式的介绍

一、说明

梧桐数据库是一款分布式数据库,它支持多种存储格式,包括ROW、ORC、Hudi和MagmaAP。这些存储格式中,ROW是按行存储的格式,而ORC、Hudi和MagmaAP则是按行列存储的格式。在创建表时,用户可以根据需求选择不同的存储格式,例如创建一个默认的ORC表或显式指定为ROW存储格式的表。此外,梧桐数据库还支持创建S3内表,并且提供了基于Hash的分布和Random分布两种数据分布方式。MagmaAP格式的表在创建时默认使用Hash分布,并且支持索引。

二、每种表格式的区别和创建方式

1. ROW格式

这是一种按行存储的格式,适合于需要频繁进行行级更新或删除操作的场景。ROW格式的表不支持索引,但在梧桐数据库中,它支持存储压缩,如SNAPPY和ZLIB,以优化存储空间的使用。

  • 创建row格式的表

    CREATE TABLE rank2 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) WITH (appendonly = true, orientation = row);

  • 创建snappy压缩格式的row表

    CREATE TABLE rank3 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) WITH (appendonly = true, orientation = row, compresstype = snappy);

2. ORC格式

是一种列式存储格式,它在存储效率和查询性能之间提供了良好的平衡。ORC格式支持多种压缩算法,如LZ4、SNAPPY、ZSTD和ZLIB,适用于OLAP(在线分析处理)场景,可以显著提高数据扫描和查询的速度。

  • 默认创建orc

    CREATE TABLE rank1 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    );

  • 指定创建orc表

    CREATE TABLE rank4 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) WITH (appendonly = true, orientation = orc);

  • 创建带压缩的orc表

    CREATE TABLE rank5 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) WITH (appendonly = true, orientation = orc, compresstype = lz4);

3. Hudi格式

Apache Hudi是一种支持插入和更新操作的存储格式,它允许用户在保持数据文件不可变的同时进行数据的实时更新。Hudi格式的表适用于需要高吞吐量数据摄入和更新的场景,同时支持数据的快速查询。

  • 创建hudi表

    CREATE TABLE rank6 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) WITH (appendonly = true, orientation = horc, type = mor);

  • 创建带压缩的hudi表

    CREATE TABLE rank7 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) WITH (appendonly = true, orientation = horc, type = mor, compresstype = lz4);

4. MagmaAP格式

这是一种梧桐数据库特有的存储格式,它支持行存储和列存储的混合模式,并且内部自动实现了数据压缩。MagmaAP格式的表支持主键索引,适合于需要高并发写入和复杂查询的场景。

  • 创建带压缩的magma表

    CREATE TABLE rank8 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) FORMAT 'magmaap';

注:在表的存储模型方面,WuTongDB提供了丰富的选项,例如可以创建snappy压缩的ROW表或不压缩的ORC表。同时,用户还可以创建带有primary key的MagmaAP表,这种表内部自动实现了压缩。WuTongDB的表存储模型支持多种特性,如行/列存储、存储格式、是否支持新执行器、压缩支持、是否支持UPDATE/DELETE操作以及是否支持索引等。

三、表格式区别对比

特性 ROW ORC Hudi MAGMAAP
行/列存储 行 行列混存 行列混存 行列混存
存储格式 自定义存储格式 兼容标准 ORC 格式 兼容 Apache Hudi 表格式 自定义存储格式
是否支持新执行器 不支持 支持 支持 支持
压缩 支持 snappy , zlib 支持 lz4 , snappy , zstd , zlib 支持 lz4 , snappy , zstd , zlib 自动选择压缩算法,不需要用户指定
UPDATE / DELTE 支持 支持 支持 支持
INDEX 不支持 不支持 不支持 支持
相关推荐
wno70427 分钟前
Centos下PostgreSQL安装部署详细步骤
java·数据库·spring boot
文丑颜不良啊1 小时前
InnoDB 和 MyISAM
数据库
ShineWinsu1 小时前
对于Qt:QVBoxLayout常见属性以及方法的解析
开发语言·数据库·c++·qt·gui·客户端·布局管理器
达梦产品与服务8 小时前
SQLark V4.4 更新 | 新增 SQL Server 数据库支持、自定义格式复制、Agent 辅助建表等 20+ 项功能已上线!
数据库
小Ti客栈10 小时前
MySQL 常用函数速查(完整篇)
数据库·mysql·adb
隔窗听雨眠11 小时前
高可用不止于数据库的全栈工程实践
数据库·架构设计·高可用
nice_lcj52014 小时前
MySQL 主从复制与读写分离:从库怎么跟着主库走
数据库·mysql·面试·binlog·读写分离·主从复制
tianyuanwo14 小时前
PostgreSQL 部署运维实战总结:从安装踩坑到生产可用
运维·数据库·postgresql
数据工匠老o15 小时前
数据库没死,业务卡住了:行锁等待、元数据锁、长事务的排查路径
数据库·算法·架构