ClickHouse--03--数据类型

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录

  • 数据类型
    • [1. Int](#1. Int)
    • 2.Float
        • [toFloat32(...) 用来将字符串转换成 Float32 类型的函数](#toFloat32(...) 用来将字符串转换成 Float32 类型的函数)
        • [toFloat64(...) 用来将字符串转换成 Float64 类型的函数](#toFloat64(...) 用来将字符串转换成 Float64 类型的函数)
    • 3.Decimal
    • 4.String
    • 5.FixedString
        • [toFixedString(value,N):将字符串转换为 N 位长度,N 不能小于 value 字符串实际长度。](#toFixedString(value,N):将字符串转换为 N 位长度,N 不能小于 value 字符串实际长度。)
    • 6.UUID
        • [generateUUIDv4()随机生成一个 32 位的 UUID。](#generateUUIDv4()随机生成一个 32 位的 UUID。)
    • 7.Date
        • [now() : 获取当前天日期,返回格式:yyyy-MM-dd HH:mm:ss](#now() : 获取当前天日期,返回格式:yyyy-MM-dd HH:mm:ss)
        • [toDate(value) : 将字符串转成 Date,只支持 yyyy-MM-dd 格式。](#toDate(value) : 将字符串转成 Date,只支持 yyyy-MM-dd 格式。)
    • 8.DateTime
        • [toDateTime(DateTimeValue) : 将 字 符 串 转 成 DateTime , 只 支 持 yyyy-MM-dd HH:MI:SS。](#toDateTime(DateTimeValue) : 将 字 符 串 转 成 DateTime , 只 支 持 yyyy-MM-dd HH:MI:SS。)
        • [toDateTime(DateTimeValue,时区) :同上,支持将数据转换为对应时区时间。](#toDateTime(DateTimeValue,时区) :同上,支持将数据转换为对应时区时间。)
    • 9.DateTime64
    • 10.布尔类型
    • [11.枚举类型 Enum](#11.枚举类型 Enum)
    • 12.Nullable
    • [13 .数组类型 Array(T)](#13 .数组类型 Array(T))
    • [14.Tuple 类型](#14.Tuple 类型)
    • [15 .嵌套类型 Nested](#15 .嵌套类型 Nested)
    • 16.Domain

数据类型

ClickHouse 提供了许多数据类型,它们可以划分为基础类型、复合类型和特殊类型。我们可以在 system.data_type_families 表中检查数据类型名称以及是否区分大小写。这个表中存储了 ClickHouse 支持的所有数据类型。

下面介绍下常用的数据类型,ClickHouse 与 Mysql、Hive 中常用数据类型的对比图如下:

1. Int

  • ClickHouse 中整形分为 Int8、Int16、Int32、Int64 来表示整数不同的取值范围,其末尾数字正好代表占用字节的大小(8 位=1字节),整形又包含有符号整形和无符号整形,他们写法上的区别为无符号整形前面加"U"表示。


2.Float

  • 我们建议使用整数方式来存储数据,因为浮点类型数据计算可能导致四舍五入的误差。
    浮点类型包含单精度浮点数和双精度浮点数。
  • Float32 从小数点后第 8 位起会发生数据溢出。

示例

toFloat32(...) 用来将字符串转换成 Float32 类型的函数
toFloat64(...) 用来将字符串转换成 Float64 类型的函数


3.Decimal

  • 有符号的定点数,可在加、减和乘法运算过程中保持精度。ClickHouse 提供了Decimal32、Decimal64、Decimal128、Decimal256 几种精度的定点数,支持几种写法:


    另外,Decimal 数据在进行四则运算时,精度(总位数)和规模(小数点位数)会发
    生变化,具体规则如下:

    示例:
toDecimal32(value,S):将字符串 value 转换为 Decimal32 类型,小数点后有 S 位。
toTypeName(字段):获取字段的数据类型函数。





4.String

  • 字符串可以是任意长度的。
  • 它可以包含任意的字节集,包含空字节。
  • 因此,字符串类型可以代替其他 DBMSs 中的 VARCHAR、BLOB、CLOB 等类型。

5.FixedString

固定长度 N 的字符串(N 必须是严格的正自然数),一般在明确字符串长度的场景下使用,可以使用下面的语法对列声明为 FixedString 类型:

  • 当向 ClickHouse 中插入数据时,如果字符串包含的字节数少于 N ,将对字符串末尾进行空字节填充。如果字符串包含的字节数大于 N,将抛出 Too large value for FixedString(N)异常
  • 当做数据查询时,ClickHouse 不会删除字符串末尾的空字节。 如果使用 WHERE 子句,则须要手动添加空字节以匹配 FixedString 的值,新版本后期不需要手动添加。

示例:

toFixedString(value,N):将字符串转换为 N 位长度,N 不能小于 value 字符串实际长度。

6.UUID

UUID 是一种数据库常见的主键类型,在 ClickHouse 中直接把它作为一种数据类型。

  • UUID 共有 32 位,它的格式为 8-4-4-4-12
  • 如果在插入新记录时未指定 UUID 列值,则UUID 值将用 0 来填充(00000000-0000-0000-0000-000000000000)。
  • UUID 类型不支持算术运算、聚合函数 sum 和 avg

示例

generateUUIDv4()随机生成一个 32 位的 UUID。


7.Date

  • Date 只能精确到天,用两个字节存储,表示从 1970-01-01(无符号)到当前的日期 值。日期中没有存储时区信息,不能指定时区。

示例:

now() : 获取当前天日期,返回格式:yyyy-MM-dd HH:mm:ss
toDate(value) : 将字符串转成 Date,只支持 yyyy-MM-dd 格式。



8.DateTime

DateTime 精确到秒,可以指定时区。

  • 用四个字节(无符号的)存储 Unix 时间戳。允许存储与日期类型相同的范围内的值。最小值为 0000-00-00 00:00:00,时间戳类型值精确到秒。
  • 时区使用启动客户端或服务器时的系统时区。默认情况下,客户端连接到服务的时候会 使用服务端时区。您可以通过启用客户端命令行选项--use_client_time_zone 来设 置使用客户端时区

示例:

toDateTime(DateTimeValue) : 将 字 符 串 转 成 DateTime , 只 支 持 yyyy-MM-dd HH:MI:SS。
toDateTime(DateTimeValue,时区) :同上,支持将数据转换为对应时区时间。


9.DateTime64

DateTime64 精确到毫秒和微秒,可以指定时区。在内部,此类型以 Int64 类型将数据存储。时间刻度的分辨率由 precision 参数确定。

  • 此外,DateTime64 类型可以像存储其他数据列一样存储时区信息,时区会影响 DateTime64 类型的值如何以文本格式显示,以及如何解析以字符串形式指定的时间数据 ('2020-01-01 05:00:01.000')。时区信息不存储在表的行中,而是存储在列的元数据中。

    示例:
toDateTime64(timeStr,precision):将字符串转成 DateTime64,精度为 precision。支持 yyyy-MM-dd HH:MI:SS.SSS 时间格式。
toDateTime64(timeStr,precision,timezone):同上,只是可以将时间转换为对应时区时间。


10.布尔类型

  • ClickHouse 中没有单独的类型来存储布尔值。可以使用 UInt8 类型,取值限制为 0或 1。具体参照枚举类型。

11.枚举类型 Enum

枚举类型通常在定义常量时使用,ClickHouse 提供了 Enum8 和 Enum16 两种枚举类型。

  • Enum 保存'string'=integer 的对应关系。在 ClickHouse 中,尽管用户使用的是字符串常量,但所有含有 Enum数据类型的操作都是按照包含整数的值来执行。这在性能方面比使用 String 数据类型更有效。
  • Enum8 和 Enum16 分别对应'String'=Int8 和'String'=Int16,Enum8 类型的每个值范围是-128 ... 127,Enum16 类型的每个值范围是-32768 ... 32767,所有的字符串或者数字都必须是不一样的,允许存在空字符串,Enum 类型中数字可以是任意顺序,顺序并不重要。
  • 向 Enum 字段中插入值时,可以插入枚举的字符串值也可以插入枚举对应的 Int 值, 建议插入对应的字符串值,这样避免插入对应的 Int值不在 Enum 枚举集合中再次查询表 时报错。定义了枚举类型值之后,不能写入其他值的数据,写入的值不在枚举集合中就会抛 出异常。


12.Nullable

  • Nullable 类 型 只 能 与 基 础 数 据 类 型 搭 配 使 用 , 表 示 某 个 类 型 的 值 可 以 为NULL,Nullable(Int8)表示可以存储Int8类型的值,没有值时存NULL。使用Nullable 需要注意:Nullable 类型的字段不能作为索引字段,尽量避免使用 Nullable 类型,因 为字段被定义为 Nullable 类型后会额外生成[Column].null.bin 文件保存 Null 值,增加开销,比普通列消耗更多的存储空间。

13 .数组类型 Array(T)

  • Array(T),由 T 类型元素组成的数组。T 可以是任意类型,包含数组类型。但不推 荐使用多维数组,ClickHouse 对多维数组的支持有限。例如,不能在 MergeTree 表中存储多维数组。
  • 数组的定义方式有两种:Array(T),[1,2,3... ...],数组类型里面的元素必须具 有相同的数据类型,否则会报异常。另外,需要注意的是,数组元素中如果存在 Null 值, 则元素类型将变为 Nullable。
  • 从数组中查询获取值使用 xx[1|2... ...],直接使用中括号获取值,下标从 1 开始。


14.Tuple 类型

元组类型有 1~n 个元素组成,每个元素允许设置不同的数据类型,且彼此之间不要求兼容。与数组类似,元组也可以使用两种方式定义:tuple(1,'hello',12.34)或者直接写(1,'hello',45.67),元组中可以存储多种数据类型,但是要注意数据类型的顺序。

15 .嵌套类型 Nested

ClickHouse 支持嵌套数据类型(Nested),可以为一个表定义一个或者多个嵌套数据类型字段,但是每个嵌套字段只支持一级嵌套,即嵌套字段内不能继续使用嵌套类型。嵌套一般用来表示简单的级联关系,嵌套本质上是一个多维数组,嵌套类型中的每个数组的长度必须相同。目前,Nested 类型支持很局限,MergeTree 引擎中不支持 Nested 类型。

16.Domain

Domain 类型是特定实现的类型,目前支持 IPv4 和 IPv6 两类,本质上他们是对整形和字符串的进一步封装,IPv4 类型基于 UInt32 封装,IPv6 基于 FixedString(16)封装。

  • 出于便捷性的考量,例如:IPv4 类型支持格式检查,格式错误的 IP 无法被写入。出于性能的考量,IPv4 和 IPv6 相对于 String 更加紧凑,占用的空间更小,查询性能更快。
  • 在使用 Domain 时需要注意,虽然表面看起来与 String 一样,但是 Domain类型并不是字符串,也不支持隐式自动转换成字符串,如果需要返回 IP 的字符串形式,需要调用函数 IPv4NumToString()和IPv6NumToString()显式实现。


相关推荐
吹老师个人app编程教学15 小时前
clickhouse-题库
clickhouse
fusugongzi15 小时前
clickhouse一直重启,日志提示structure needs cleaning
clickhouse
arnold6616 小时前
深入探索 ClickHouse:性能优化之道
clickhouse·性能优化
孤独天狼2 天前
Clickhouse(Centos)
clickhouse
Favor_Yang2 天前
C# 连接ClickHouse 数据库
数据库·clickhouse·c#
fusugongzi3 天前
clickhouse优化记录
clickhouse
吹老师个人app编程教学3 天前
clickhouse-副本和分片
java·服务器·clickhouse
天地风雷水火山泽4 天前
二百七十九、ClickHouse——用Kettle对DWD层清洗数据进行增量补全
clickhouse
天地风雷水火山泽4 天前
二百八十、ClickHouse——用Kettle对DWD层补全的清洗数据进行记录
大数据·clickhouse·kettle
wending-Y4 天前
clickhouse 查询优化思路
clickhouse