clickhouse - 重新建表覆盖旧表-解决分区时间错误问题-197001

由于上传时间戳为毫秒级,建表sql的分区按照 PARTITION BY toYYYYMM(toDate(ts)) 秒级划分,导致所有的数据计算后超出范围全部标注在了 1970-01的分区上面。

  1. 尝试修改表的配置分区无效。
  2. 创建新表更新分区的配置 PARTITION BY toYYYYMM(toDate(ts/1000)) ,抽取数据到新表。再依次验证后还原表名字。

验证函数中的数据,toDate转换的情况

sql 复制代码
SELECT toYYYYMM(toDate(ts / 1000)) FROM ts_kv_cluster 

Query id: efa8f8b1-cb92-4344-b39e-bf18f3c00ff1

┌─toYYYYMM(toDate(divide(ts, 1000)))─┐
│                             202504 │
│                             202504 │
│                             202504 │
│                             202504 │




SELECT toYYYYMM(toDate(ts)) FROM ts_kv_cluster 

Query id: 92620905-0add-4c91-8b3a-2065fe67d7b3

┌─toYYYYMM(toDate(ts))─┐
│               197001 │
│               197001 │
│               197001 │

解决分区的时间错误

sql 复制代码
# 创建新表
 CREATE TABLE iot.ts_kv_cluster_new
(
    `entity_id` String,
    `key` Int32,
    `ts` Int64,
    `bool_v` Nullable(UInt8),
    `str_v` Nullable(String),
    `long_v` Nullable(Int64),
    `dbl_v` Nullable(Float64),
    `json_v` Nullable(String)
)
ENGINE = ReplicatedMergeTree('/clickhouse/table/{shard}/ts_kv_cluster_new', '{replica}')
PARTITION BY toYYYYMM(toDate(ts / 1000))
PRIMARY KEY (entity_id, key, ts)
ORDER BY (entity_id, key, ts)
SETTINGS index_granularity = 8192;



# 复制数据到新表中
INSERT INTO iot.ts_kv_cluster_new SELECT * FROM iot.ts_kv_cluster;

# 对比数量
SELECT COUNT(*) FROM iot.ts_kv_cluster;
SELECT COUNT(*) FROM iot.ts_kv_cluster_old;

# 重命名 原有的表名  到 旧表
RENAME TABLE iot.ts_kv_cluster TO iot.ts_kv_cluster_old;

# 重命名 新表 到原有的表名
RENAME TABLE iot.ts_kv_cluster_new TO iot.ts_kv_cluster;

# 查看分区的分布
SELECT partition, count() FROM system.parts WHERE table = 'ts_kv_cluster' GROUP BY partition;


# 删除 旧表
DROP TABLE iot.ts_kv_cluster_old;
相关推荐
MMMMMMMMMMemory2 天前
clickhouse迁移工具clickhouse-copier
clickhouse
securitor2 天前
【clickhouse】设置密码
clickhouse
天道有情战天下4 天前
ClickHouse使用Docker部署
clickhouse·docker·容器
冷雨夜中漫步5 天前
ClickHouse常见问题——ClickHouseKeeper配置listen_host后不生效
java·数据库·clickhouse
qq_339191145 天前
docker 启动一个clickhouse , docker 创建ck数据库
clickhouse·docker·容器
Kookoos7 天前
ABP + ClickHouse 实时 OLAP:物化视图与写入聚合
clickhouse·c#·linq·abp vnext·实时olap
喂完待续9 天前
【Big Data】AI赋能的ClickHouse 2.0:从JIT编译到LLM查询优化,下一代OLAP引擎进化路径
大数据·数据库·clickhouse·数据分析·olap·big data·序列晋升
阿里云大数据AI技术17 天前
鹰角网络基于阿里云 EMR Serverless StarRocks 的实时分析工程实践
starrocks·clickhouse·阿里云·emr·实时分析
更深兼春远19 天前
flink+clinkhouse安装部署
大数据·clickhouse·flink