大数据开发学习Day39

一、Linux

1. 统计指定目录下目录总个数

bash 复制代码
ls -l /opt/bigdata/ | grep "^d" | wc -l

grep "^d" 只筛选文件夹类型

wc -l 统计行数即目录数量

用途:盘点业务目录、归档文件夹数量

2. HDFS 删除过期分区数据

bash 复制代码
hdfs dfs -rm -r /user/hive/ods/log/dt=2026-04*

通配符批量删除整月过期分区,释放集群存储

生产定期清理冷数据必备操作

删除前建议先 ls 核对路径,避免误删

3. 查看端口占用并终止进程

bash 复制代码
netstat -tulpn | grep 8080
kill -9 进程PID

查询指定端口被哪个程序占用

端口冲突、服务启动失败时排查使用

二、SQL

表结构

dwd_store_order门店订单:store_id,order_id,order_amount,pay_time

dwd_user_browse用户浏览:user_id,goods_id,browse_time,stay_sec

dwd_vip_info会员信息:user_id,vip_level,expire_time,recharge_money

1. 统计各门店日均订单与营收

sql 复制代码
SELECT
store_id,
COUNT(order_id)/COUNT(DISTINCT date(pay_time)) avg_order_num,
SUM(order_amount)/COUNT(DISTINCT date(pay_time)) avg_income
FROM dwd_store_order
GROUP BY store_id;

先统计门店总订单、总营收

除以营业天数得到日均指标

用于门店业绩评估、门店效益对比

2. 统计商品平均浏览时长与访问人次

sql 复制代码
SELECT
goods_id,
ROUND(AVG(stay_sec),1) avg_stay,
COUNT(DISTINCT user_id) visit_user
FROM dwd_user_browse
WHERE browse_time >= '2026-05-01'
GROUP BY goods_id;

平均停留时长判断商品吸引力

去重统计访客数,衡量商品热度

时间过滤缩小扫描范围,提升查询效率

3. 分级统计会员充值总额

sql 复制代码
SELECT
vip_level,
COUNT(user_id) vip_count,
SUM(recharge_money) total_recharge
FROM dwd_vip_info
WHERE expire_time > current_date
GROUP BY vip_level
ORDER BY total_recharge DESC;

只统计在有效期内会员

按会员等级分组统计人数与充值金额

排序直观看出高等级会员消费贡献

三、Pyspark

今日重点:Structured Streaming 水印处理乱序数据

  • 业务场景

    网络延迟导致数据流时间错乱,晚到数据无法正常统计,指标失真

  • 核心代码

python 复制代码
from pyspark.sql.functions import col,window

# 读取流数据
stream_df = spark.readStream.format("kafka").load()
data_df = stream_df.select(from_json(col("value").cast("string"),schema).alias("data")).select("data.*")

# 设置水印:允许10秒内晚到数据
water_df = data_df.withWatermark("event_time", "10 seconds")

# 5分钟滚动窗口统计
window_df = water_df.groupBy(window(col("event_time"),"5 minute"),col("event_type")).count()

逐点讲解

withWatermark(时间字段, 延迟时长) 定义容忍乱序范围

超出容忍时间的数据直接丢弃,避免无限堆积状态

窗口聚合结合水印,保证实时指标准确且释放内存

流处理统计 PV、UV、交易指标必备写法

  • 实战注意

    水印字段必须是窗口分组依赖的时间字段

    延迟时长根据业务网络波动合理设置

  • 配套调参

python 复制代码
# 优化流任务状态过期清理
spark.conf.set("spark.sql.streaming.stateTTL.cleanupDelay","30s")

四、算法

反转字符串

python 复制代码
def reverseString(s):
    left, right = 0, len(s)-1
    while left < right:
        s[left], s[right] = s[right], s[left]
        left += 1
        right -= 1

思路讲解

双指针头尾交换元素,原地反转不额外开辟空间

时间效率高,数据清洗字段翻转、日志倒序解析常用

无额外内存开销,大数据批量处理友好

相关推荐
Databend几秒前
活动邀请函|AI 时代的湖仓实践,从应用场景到 Cloud Agent 上手
大数据·数据库·agent
Z21-X9 分钟前
云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
运维·笔记·学习·云原生·kubernetes
Century_Dragon10 分钟前
把高压回路“看透” 新能源汽车动力系统拆装与检测实训MR软件
学习
电科_银尘16 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
数字新视界16 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
QuZhengRong17 小时前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱
阿里云大数据AI技术17 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
武子康19 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
软件技术NINI20 小时前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
承渊政道1 天前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python·学习·pycharm·django