Hive 的数据存储单元结构

按照数据的粒度顺序,数据存储单元数据被组织为:

  • 数据库 Databases

  • 数据表 Tables

  • 分区 Partitions

  • 桶或簇 Buckets (or Clusters)

数据库 Databases

与传统的关系型数据库一样,数据库是一个名称空间,作用是避免表、视图、分区、列等的命名冲突。数据库还可用于为用户或用户组实施安全性。

数据表 Tables

具有相同模式的同质数据单元。下边是一个 page_views 表的示例,其中每一行可以由以下列(模式,schema)组成:

  • timestamp --- 它是 INT 类型,对应于查看页面时的UNIX时间戳
  • userid --- 它是 BIGINT 类型,用于标识查看页面的用户
  • page_url --- 它是捕获页面位置的字符串类型 STRING
  • referer_url --- 它是一个字符串 STRING,用于捕获用户到达当前页的位置
  • IP --- 它是一种字符串类型 STRING,用于捕获发出页面请求的 IP 地址

分区 Partitions

每个表可以有一个或多个分区键,用于确定数据的存储方式。分区除了作为存储单元外,还允许用户有效地识别满足指定条件的行;例如,STRING 类型的 date_partition 分区和 STRING 类型的 country_partition 分区。

分区键的每个唯一值定义了表的一个分区。例如,"2009-12-23" 中的所有 "US" 数据都是 page_views 表的一个分区。因此,如果仅对 2009-12-23 的 "US" 数据运行分析,则只能对表的相关分区运行该查询,从而显著加快分析速度。

但是,请注意,仅仅因为一个分区被命名为 2009-12-23 并不意味着它包含所有或仅包含该日期的数据;分区以日期命名是为了方便;保证分区名称和数据内容之间的关系是用户的工作。

分区列(Partition columns)是虚拟列它们不是数据本身的一部分,而是在加载时派生的。

桶或簇 Buckets (or Clusters)

每个分区中的数据又可以基于表的某一列的散列函数的值被划分为桶 。例如, page_views 表可能由 userid 绑定,userid 是 page_views 表的除 partitions 列以外的列之一。这些可用于有效地对数据进行采样。

相关推荐
干就完事了14 小时前
Hive内置函数
数据仓库·hive·hadoop
q***071420 小时前
Spring Boot 从 2.7.x 升级到 3.3注意事项
数据库·hive·spring boot
阿杜杜不是阿木木21 小时前
在 Hadoop 生态使用 JuiceFS,并为Hive提供HDFS存储安装指南
hive·hadoop·hdfs
小鹿学程序2 天前
4.子任务四:Hive 安装配置
数据仓库·hive·hadoop
howard20052 天前
4.2 Hive数据表操作
hive·内部表·数据表·插入记录·查询记录
BD_Marathon3 天前
【Hive】复杂数据类型
数据仓库·hive·hadoop
q***76663 天前
Spring Boot 从 2.7.x 升级到 3.3注意事项
数据库·hive·spring boot
q***3754 天前
Spring Boot 从 2.7.x 升级到 3.3注意事项
数据库·hive·spring boot
yumgpkpm6 天前
CMP(类Cloudera CDP 7.3 404版华为Kunpeng)与其他大数据平台对比
大数据·hive·hadoop·elasticsearch·kafka·hbase·cloudera
yumgpkpm7 天前
Hadoop大数据平台在中国AI时代的后续发展趋势研究CMP(类Cloudera CDP 7.3 404版华为鲲鹏Kunpeng)
大数据·hive·hadoop·python·zookeeper·oracle·cloudera