数据仓库_LT,留存,回访的设计思路

今天面试问到了一个问题,假设我们的用户信息是天级别统计的,那么如果计算多天的留存与回访就需要扫描多个分区,这样计算资源比较多,如何进行优化。

首先要介绍一下,留存,回访,lt 这3个基本概念

基本概念

n日留存 :n日后是否访问app

n日回访 :n日活是否访问某个业务模块(app中的某一板块,当这个板块为app时,留存==回访),类似于留存

lt : 用户的生命周期,相当于整体的活跃天数。 详细参考 :用户全生命周期价值(LTV)指标如何计算 - 传播蛙

思路

我们需要构建map存储用户的历史活跃天数,然后利用日期作为key进行快速索引

构建历史全量活跃天数表

复制代码
with all_act_tmp as (
	select 
		device_id,
		map('${date}',1) as act_date_map
	from test_dwd.dwd_user_device_active_di
	where date = '${date}'
	
	union all
	select 
		device_id,
		act_date_map
	from test_dwd.user_dwd_device_active_df
	where date = '${date-1}'
)


insert overwrite table test_dwd.user_dwd_device_active_df partition(date='${date}')
select 
	device_id,
	union_map(act_date_map) 
from 	
	all_act_tmp
group by device_id 

计算相关指标

复制代码
select 
	device_id,
	map_keys(act_date_map) as act_date_list
	size(act_date_map) as all_lt_cnt,
	if(act_date_map['${date}']=1,1,0) as is_act,
	if(act_date_map['${date-1}'=1,1,0]) as is_act_1d,
	if(act_date_map['${date-3}'=1,1,0]) as is_act_3d,
	if(act_date_map['${date-7}'=1,1,0]) as is_act_7d,
	...
	size(sub_map(act_date_map,'${date-2}','${date}')) as lt_3d,
	size(sub_map(act_date_map,'${date-6}','${date}')) as lt_7d,
	size(sub_map(act_date_map,'${date-14}','${date}')) as lt_15d
	...	
from 
	test_dwd.user_dwd_device_active_df 

相关功能函数

sub_map 函数 UDF

sub_map(map,start,end,byKey)

  • Returns a sub map from mao, in which key(or value) is between start and end
相关推荐
weixin_lynhgworld28 分钟前
盲盒抽卡机小程序系统开发:以技术创新驱动娱乐体验升级
大数据·盲盒·抽谷机
YF云飞1 小时前
数据仓库进化:Agent驱动数智化新范式
数据仓库·人工智能·ai
TDengine (老段)2 小时前
TDengine 时间函数 TODAY() 用户手册
大数据·数据库·物联网·oracle·时序数据库·tdengine·涛思数据
悟乙己2 小时前
数据科学家如何更好地展示自己的能力
大数据·数据库·数据科学家
东哥说-MES|从入门到精通3 小时前
Mazak MTF 2025制造未来参观总结
大数据·网络·人工智能·制造·智能制造·数字化
盟接之桥3 小时前
盟接之桥说制造:在安全、确定与及时之间,构建品质、交期与反应速度的动态平衡
大数据·运维·安全·汽车·制造·devops
链上日记4 小时前
STC携手VEX发起全球首个碳资产RWA生态,泰国峰会即将引爆绿色金融
大数据
用户Taobaoapi20144 小时前
京东商品列表API(JD.item_search)
大数据·数据挖掘·数据分析
用户Taobaoapi20144 小时前
京东商品评论API开发指南
大数据·数据挖掘·数据分析
微三云-轩5 小时前
小程序:12亿用户的入口,企业数字化的先锋军
大数据·小程序·开源软件