梧桐数据库表格式的介绍

一、说明

梧桐数据库是一款分布式数据库,它支持多种存储格式,包括ROWORCHudiMagmaAP。这些存储格式中,ROW是按行存储的格式,而ORCHudiMagmaAP则是按行列存储的格式。在创建表时,用户可以根据需求选择不同的存储格式,例如创建一个默认的ORC表或显式指定为ROW存储格式的表。此外,梧桐数据库还支持创建S3内表,并且提供了基于Hash的分布和Random分布两种数据分布方式。MagmaAP格式的表在创建时默认使用Hash分布,并且支持索引。

二、每种表格式的区别和创建方式

1. ROW格式

这是一种按行存储的格式,适合于需要频繁进行行级更新或删除操作的场景。ROW格式的表不支持索引,但在梧桐数据库中,它支持存储压缩,如SNAPPYZLIB,以优化存储空间的使用。

  • 创建row格式的表

    CREATE TABLE rank2 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) WITH (appendonly = true, orientation = row);

  • 创建snappy压缩格式的row

    CREATE TABLE rank3 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) WITH (appendonly = true, orientation = row, compresstype = snappy);

2. ORC格式

是一种列式存储格式,它在存储效率和查询性能之间提供了良好的平衡。ORC格式支持多种压缩算法,如LZ4SNAPPYZSTDZLIB,适用于OLAP(在线分析处理)场景,可以显著提高数据扫描和查询的速度。

  • 默认创建orc

    CREATE TABLE rank1 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    );

  • 指定创建orc

    CREATE TABLE rank4 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) WITH (appendonly = true, orientation = orc);

  • 创建带压缩的orc

    CREATE TABLE rank5 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) WITH (appendonly = true, orientation = orc, compresstype = lz4);

3. Hudi格式

Apache Hudi是一种支持插入和更新操作的存储格式,它允许用户在保持数据文件不可变的同时进行数据的实时更新。Hudi格式的表适用于需要高吞吐量数据摄入和更新的场景,同时支持数据的快速查询。

  • 创建hudi

    CREATE TABLE rank6 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) WITH (appendonly = true, orientation = horc, type = mor);

  • 创建带压缩的hudi

    CREATE TABLE rank7 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) WITH (appendonly = true, orientation = horc, type = mor, compresstype = lz4);

4. MagmaAP格式

这是一种梧桐数据库特有的存储格式,它支持行存储和列存储的混合模式,并且内部自动实现了数据压缩。MagmaAP格式的表支持主键索引,适合于需要高并发写入和复杂查询的场景。

  • 创建带压缩的magma

    CREATE TABLE rank8 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
    ) FORMAT 'magmaap';

注:在表的存储模型方面,WuTongDB提供了丰富的选项,例如可以创建snappy压缩的ROW表或不压缩的ORC表。同时,用户还可以创建带有primary keyMagmaAP表,这种表内部自动实现了压缩。WuTongDB的表存储模型支持多种特性,如行/列存储、存储格式、是否支持新执行器、压缩支持、是否支持UPDATE/DELETE操作以及是否支持索引等。

三、表格式区别对比

特性 ROW ORC Hudi MAGMAAP
行/列存储 行列混存 行列混存 行列混存
存储格式 自定义存储格式 兼容标准 ORC 格式 兼容 Apache Hudi 表格式 自定义存储格式
是否支持新执行器 不支持 支持 支持 支持
压缩 支持 snappy , zlib 支持 lz4 , snappy , zstd , zlib 支持 lz4 , snappy , zstd , zlib 自动选择压缩算法,不需要用户指定
UPDATE / DELTE 支持 支持 支持 支持
INDEX 不支持 不支持 不支持 支持
相关推荐
尘佑不尘20 分钟前
shodan5,参数使用,批量查找Mongodb未授权登录,jenkins批量挖掘
数据库·笔记·mongodb·web安全·jenkins·1024程序员节
传输能手28 分钟前
从三方云服务器将数据迁移至本地,如何保障安全高效?
大数据·服务器·数据库
BinTools图尔兹34 分钟前
CQ社区版 v2024.10 | 支持k8s、helm部署!
数据库·安全·k8s·helm·数据安全·数据库管理员
北笙··1 小时前
Redis慢查询分析优化
数据库·redis·缓存
p-knowledge1 小时前
redis的三种客户端
数据库·redis·缓存
积水成江1 小时前
Redis相关面试题
数据库·redis·缓存
bigcarp1 小时前
Django ORM 数据库管理 提高查询、更新性能的技巧和编程习惯:
数据库·python·django
Zilliz Planet2 小时前
GenAI 生态系统现状:不止大语言模型和向量数据库
数据库·人工智能·语言模型·自然语言处理
瓜牛_gn3 小时前
redis详细教程(4.GEO,bitfield,Stream)
数据库·redis·缓存
练习两年半的工程师3 小时前
建立一个简单的todo应用程序(前端React;后端FastAPI;数据库MongoDB)
前端·数据库·react.js·fastapi