Flink实时电商数仓(九)

用户注册汇总表

需求分析

  • 统计各窗口的注册用户数,写入Doris

思路分析

  1. 读取kafka用户注册主题数据
  2. 转换数据结构 string -> JSONObject->javaBean
  3. 使用user_info表中的数据代表用户注册
  4. 设置水位线
  5. 开窗聚合
  6. 写入Doris

具体实现

  1. 创建用户注册统计类继承BaseApp,设置端口,并行度,kafka消费者组,kafka主题(Topic_user_register)

  2. 启动zookeeper, HDFS, kafka, maxwell等框架

  3. 测试能够收到数据stream.print()

  4. 数据清洗过滤,并且转换数据结构为javaBean

    • JSONObject.parseObject(value);转换格式
    • json.getString();获取对应字段
    • 判断对应字段是否为空,不为空则out.collect()写出
  5. 添加水位线

    • assignTimestampsAndWatermark()
    • 使用WatermarkStrategy.<泛型>乱序流
    • DateFormatUtil.dateTimeToTs(element.getCreateTime());提取数据中的时间
  6. 分组开窗聚合

    • reduce聚合
      • v1:累加值
      • v2:需要累加进来的值

    process获取窗口信息

  7. 启动doris, 在hadoop102:8030打开web页面

  8. 在doris页面建立相应的表格

  9. 创建对应的doris sink

    • context.window()获取窗口window
    • window.getStart()window.getEnd()
  10. 写出到doris, stream.sinkTo(doris sink);

用户加购汇总表

需求分析

统计各窗口加购独立用户数,写入Doris

思路分析

和上面一样

具体实现

  1. 数据的清洗过滤,判断user_id和ts不能为空
    • 使用try-catch包裹转换判断代码
    • 修改ts的位数,原先是10位的秒级单位,*1000更改为毫秒级
  2. 添加水位线,获取数据中的ts
    • 水位线可以保证数据是有序到达的
  3. 按照user_id进行分组
  4. 判断是否为独立用户
    • 创建独立用户加购类 CartAddUuBean
    • 在open方法中存储用户上次登录日期lastLoginDtState
      • 设置状态的生存时间:lastLoginDtDesc.enableTimeToLive(StateTtlConfig.newBuilder(Time.days(1)).builder)
    • 在processElement方法中,判断当前数据的时间和状态中的上次登录时间
      • 如果上次登录时间为空或者上次登录时间不等于今天,就是独立用户
      • lastLoginDtState.update(curDt);更新当前的状态
      • 如果是独立访客,才需要out.collect()写出
  5. 开窗聚合
    • v1.set(v1.get + v2.get)对度量值进行聚合
    • TimeWindow window = context.window()获取窗口信息
  6. 测试开窗聚合信息是否完成
  7. 写出到Doris, .map(转换为蛇形字符串) .sinkTo(doris sink);

gitee仓库地址:(https://gitee.com/langpaian/gmall2023-realtime)

相关推荐
IT小哥哥呀5 小时前
电池制造行业数字化实施
大数据·制造·智能制造·数字化·mom·电池·信息化
Xi xi xi5 小时前
苏州唯理科技近期也正式发布了国内首款神经腕带产品
大数据·人工智能·经验分享·科技
yumgpkpm5 小时前
华为鲲鹏 Aarch64 环境下多 Oracle 、mysql数据库汇聚到Cloudera CDP7.3操作指南
大数据·数据库·mysql·华为·oracle·kafka·cloudera
UMI赋能企业6 小时前
制造业流程自动化提升生产力的全面分析
大数据·人工智能
TDengine (老段)7 小时前
TDengine 数学函数 FLOOR 用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
派可数据BI可视化9 小时前
商业智能BI 浅谈数据孤岛和数据分析的发展
大数据·数据库·数据仓库·信息可视化·数据挖掘·数据分析
jiedaodezhuti9 小时前
Flink性能调优基石:资源配置与内存优化实践
大数据·flink
Lx35210 小时前
Flink窗口机制详解:如何处理无界数据流
大数据
Lx35210 小时前
深入理解Flink的流处理模型
大数据
Lx35211 小时前
Flink vs Spark Streaming:谁更适合你的实时处理需求?
大数据