SQL高级技巧之埋点解析

一、背景

大数据时代,数据来源主要是业务系统 以及用户行为日志 ,其中 ,用户行为日志的形式主要是埋点,埋点的形式通常是Json格式的字符串,属于半结构化数据,如何将其规范化并入仓?后续如何方便使用?这就需要数仓工作者深思熟虑。

二、案例

用户打开APP并浏览时会触发条目曝光,我们会将曝光日志上传到 Kafka,并 Sink 到数仓,然后通过 ELT 开发相应的底表供使用,但是埋点不是一成不变的,随着产运增加相应的埋点变量,表的字段也会逐渐增多,表结构的频繁变更势必对下游造成影响,为避免频繁变更表结构,我们使用lef 字段储存剩余未解析的埋点变量,无论后期增加多少埋点变量,直接从lef中解析即可。

但是在开发过程中也遇到一些问题,那就是lef中的数据该如何储存?下面为大家一一道来,请看CASE:

起初,lef中字段是以JSON形式存储,但是随着一些不重要的且非埋点事件本身的数据也不像单独放在表中,所以考虑跟lef合并在一起,代码如下:

sql 复制代码
select 
       lef
      ,recv_ts
      ,to_json(named_struct('lef',lef,'recv_ts',recv_ts)) as json_str
from tmp_test where pt = max_pt('tmp_test')
limit 30;

结果如下:

其中,json_str 就是最终字段,但在使用时并不方便,比如解析其中ifAiAnswer_var,代码如下:

sql 复制代码
select get_json_object(get_json_object(lef,'$.lef'),'$.ifAiAnswer_var') 
from table
;

本来 get_json_object 函数支持通过 get_json_object(column,'$.val1.val2') 获取,所以对代码做了修改:

sql 复制代码
select 
       lef
      ,recv_ts
      ,to_json(named_struct('lef',from_json(lef,'map<string,string>'),'recv_ts',recv_ts)) as json_str
from tmp_test where pt = max_pt('tmp_test')
limit 30;

结果如下:

这个时候,就可以根据 path 向下直接获取了。

相关推荐
时序数据说1 小时前
为什么时序数据库IoTDB选择Java作为开发语言
java·大数据·开发语言·数据库·物联网·时序数据库·iotdb
Codebee2 小时前
OneCode图表配置速查手册
大数据·前端·数据可视化
Jamie201901063 小时前
高档宠物食品对宠物的健康益处有哪些?
大数据·人工智能
陈敬雷-充电了么-CEO兼CTO3 小时前
推荐算法系统系列>推荐数据仓库集市的ETL数据处理
大数据·数据库·数据仓库·数据挖掘·数据分析·etl·推荐算法
小高不会迪斯科4 小时前
MIT 6.824学习心得(1) 浅谈分布式系统概论与MapReduce
大数据·mapreduce
TDengine (老段)4 小时前
使用 StatsD 向 TDengine 写入
java·大数据·数据库·时序数据库·iot·tdengine·涛思数据
Gauss松鼠会4 小时前
GaussDB权限管理:从RBAC到精细化控制的企业级安全实践
大数据·数据库·安全·database·gaussdb
时序数据说4 小时前
时序数据库IoTDB用户自定义函数(UDF)使用指南
大数据·数据库·物联网·开源·时序数据库·iotdb
大师兄带你刨AI5 小时前
「AI产业」| 《中国信通院&华为:智能体技术和应用研究报告》
大数据·人工智能
武子康5 小时前
大数据-31 ZooKeeper 内部原理 Leader选举 ZAB协议
大数据·后端·zookeeper