clickhouse - 重新建表覆盖旧表-解决分区时间错误问题-197001

由于上传时间戳为毫秒级,建表sql的分区按照 PARTITION BY toYYYYMM(toDate(ts)) 秒级划分,导致所有的数据计算后超出范围全部标注在了 1970-01的分区上面。

  1. 尝试修改表的配置分区无效。
  2. 创建新表更新分区的配置 PARTITION BY toYYYYMM(toDate(ts/1000)) ,抽取数据到新表。再依次验证后还原表名字。

验证函数中的数据,toDate转换的情况

sql 复制代码
SELECT toYYYYMM(toDate(ts / 1000)) FROM ts_kv_cluster 

Query id: efa8f8b1-cb92-4344-b39e-bf18f3c00ff1

┌─toYYYYMM(toDate(divide(ts, 1000)))─┐
│                             202504 │
│                             202504 │
│                             202504 │
│                             202504 │




SELECT toYYYYMM(toDate(ts)) FROM ts_kv_cluster 

Query id: 92620905-0add-4c91-8b3a-2065fe67d7b3

┌─toYYYYMM(toDate(ts))─┐
│               197001 │
│               197001 │
│               197001 │

解决分区的时间错误

sql 复制代码
# 创建新表
 CREATE TABLE iot.ts_kv_cluster_new
(
    `entity_id` String,
    `key` Int32,
    `ts` Int64,
    `bool_v` Nullable(UInt8),
    `str_v` Nullable(String),
    `long_v` Nullable(Int64),
    `dbl_v` Nullable(Float64),
    `json_v` Nullable(String)
)
ENGINE = ReplicatedMergeTree('/clickhouse/table/{shard}/ts_kv_cluster_new', '{replica}')
PARTITION BY toYYYYMM(toDate(ts / 1000))
PRIMARY KEY (entity_id, key, ts)
ORDER BY (entity_id, key, ts)
SETTINGS index_granularity = 8192;



# 复制数据到新表中
INSERT INTO iot.ts_kv_cluster_new SELECT * FROM iot.ts_kv_cluster;

# 对比数量
SELECT COUNT(*) FROM iot.ts_kv_cluster;
SELECT COUNT(*) FROM iot.ts_kv_cluster_old;

# 重命名 原有的表名  到 旧表
RENAME TABLE iot.ts_kv_cluster TO iot.ts_kv_cluster_old;

# 重命名 新表 到原有的表名
RENAME TABLE iot.ts_kv_cluster_new TO iot.ts_kv_cluster;

# 查看分区的分布
SELECT partition, count() FROM system.parts WHERE table = 'ts_kv_cluster' GROUP BY partition;


# 删除 旧表
DROP TABLE iot.ts_kv_cluster_old;
相关推荐
袖清暮雨14 小时前
ClickHouse讲解
大数据·数据库·数据仓库·clickhouse·oracle
江枫渔火L2 天前
使用clickhouse的ReplacingMergeTree引擎表做活跃玩家信息表
数据库·clickhouse
潇凝子潇4 天前
Doris ClickHouse Greenplum 对比
clickhouse·doris·greenplum
递归尽头是星辰6 天前
ClickHouse核心优势分析与场景实战
大数据·数据仓库·clickhouse·实时分析·实时查询
鲁尼的小宝贝7 天前
基于Flink的数据中台管理平台
java·大数据·clickhouse·flink·yarn
问道飞鱼11 天前
【大数据知识】今天聊聊Clickhouse部署方案
大数据·clickhouse·部署
Fireworkitte14 天前
ClickHouse详解
clickhouse
知其_所以然15 天前
使用docker安装clickhouse集群
clickhouse·docker·容器
wuli玉shell15 天前
Doris和Clickhouse对比
clickhouse·doris
SelectDB技术团队18 天前
可观测性方案怎么选?SelectDB vs Elasticsearch vs ClickHouse
大数据·数据仓库·clickhouse·elasticsearch·信息可视化·doris·半结构化