Clickhouse进阶分组复合排序查询

group by分组后的字段聚合查询:

groupArray:分组聚合

arrayJoin:分组拆分

arraySort:自定义排序

arrayFilter:中间值过滤

对数据中的特殊字符串进行替换,并根据分隔符进行切割,过滤掉为空的数组数据,对数据元素进行排序,在用分隔符拼接。

sql 复制代码
arrayStringConcat(  arraySort(   arrayDistinct(  arrayFilter(o -> o != '' , splitByChar(';',   assumeNotNull(REPLACE(POOR_APP_CATEGORY, ',', ';'))) )   )  ) , '; ' ) as "质差应用"

arraySort支持自定义排序

参数 1:lambda表达式,- 表示!asc排序方式

参数 2:数组

参数 3:权值顺序

sql 复制代码
select arraySort((x, y) -> y, arrayDistinct(  arrayFilter(o -> o != '' , splitByChar(';', '优;中;差'))), [0, 1, 2]);
['优','中','差']
select arraySort((x, y) -> - y, arrayDistinct(  arrayFilter(o -> o != '' , splitByChar(';', '优;中;差'))), [0, 1, 2]);
['差','中','优']

max、argMax、argMin函数:获取某个列维度,对应的那一行数据。

获取时间最新的预警数据:

sql 复制代码
    select PREWARN_ID,
           max(CREATE_DATE),
           argMax(END_DATE, CREATE_DATE) as END_DATE,
           argMax(CHECK_DATE, CREATE_DATE) as CHECK_DATE,
           argMax(STATUS, CREATE_DATE) as STATUS,
           argMax(MODIFY_USER, CREATE_DATE) as MODIFY_USER,
           argMax(WARN_TIMES, CREATE_DATE) as WARN_TIMES,
           MAX(RANK) as RANK, MAX(CITY) as CITY
    from ADO_SA_OVERSEA_BUSINESS.T_PRE_WARNING_STATUS
    group by PREWARN_ID 
    HAVING STATUS = 0
    ORDER BY WARN_TIMES, CHECK_DATE, PREWARN_ID;

注意点:

该函数取不到null,会根据列维度排序,取最大(小)的不为空数据,所以请考虑数据中是否有null数据。

如果有,建议使用 如下判断数据的形式进行规避

sql 复制代码
select argMax(if(STATUS is null, '', STATUS), CREATE_DATE) as STATUS
相关推荐
阿坤带你走近大数据2 天前
ClickHouse的介绍
clickhouse
南修子4 天前
【Flink 30天】Day24-27 实时数仓规范:ODS→DWD→DWS→ADS 分层 + Temporal Join + 生产最佳实践
clickhouse·flink·实时数仓·数据分层·temporaljoin
l1t18 天前
DeepSeek总结的用Parquet从 ClickHouse 迁移至 CedarDB查询
clickhouse·cedardb
longxibo1 个月前
【Ubuntu datasophon1.2.1 二开之六:解决CLICKHOUSE安装问题】
大数据·linux·clickhouse·ubuntu
l1t1 个月前
在python 3.14 容器中安装和使用chdb包
开发语言·python·clickhouse·chdb
linweidong1 个月前
别让老板等:千人并发下的实时大屏极致性能优化实录
jmeter·clickhouse·性能优化·sentinel·doris·物化视图·离线数仓
Paraverse_徐志斌1 个月前
基于 Kafka + Flink + ClickHouse 电商用户行为实时数仓实践
大数据·clickhouse·flink·kafka·olap·etl
李兆龙的博客1 个月前
从一到无穷大 #62 ClickHouse 加速机制持久化格式拆解
clickhouse
麦兜和小可的舅舅1 个月前
ClickHouse 一次Schema修改造成的Merge阻塞问题的分析和解决过程
clickhouse