Doris 窗口函数之 LEAD 最佳实践

概念说明

LEAD 是Doris的一个分析窗口函数,用于访问当前行之后的行数据,而无需进行自连接。可以获取分区内当前行之后的第N行的值。

语法

LEAD ( <expr> , \ \[ , \ ] )

参数

|---------|------------------|
| 参数 | 说明 |
| expr | 需要获取值的表达式 |
| offset | 向后偏移的行数 |
| default | 当偏移超出窗口范围时返回的默认值 |

返回

返回与输入表达式相同的数据类型。

需求实践

需求分析

在线客服系统中,求每个最后接待客服的三天解决率,指标定义为

分子:同一个访客三天内未重复来访(不限客服),则标记为已解决,否则为未解决;

分母:人工会话数

分析需求可知,要想实现该需求,需要将会话记录按照时间升序排序,计算访客A来访之后的三天内是否有重复来访记录,如果有记录,则上一次会话记录标记为未解决。

访客可以重复来访多次,因此可抽象成访客A的数据按照时间排序,最后一条数据为已解决,之前间隔超过三天的为已解决,否则为未解决。

需求实现

数据来源

ElasticSearch 已经有现成的会话记录表,`session_info_2026-01` ,相关字段数据格式如下:

|-----------|------------------------------|
| 字段 | 含义 |
| sessionId | 会话ID,表的主键 |
| visitorId | 访客ID |
| startTime | 会话开始时间,13位long类型,这里未存为date类型 |
| staffId | 客服ID |

实现步骤

1.连接Doris客户端,创建ElasticSearch的Catalog

CREATE CATALOG es_catalog PROPERTIES (

"type"="es",

"hosts"="http://ip:9200",

"mapping_es_id"="true",

"doc_value_scan" = "true",

"metadata_refresh_interval_sec"="20"

);

  1. 利用lead 函数构建查询获取同一访客人工会话,每一条数据的对应的下一条数据的会话建立时间。
sql 复制代码
   SELECT 
   sessionId,
   staffId,
   visitorId,
   startTime,
   FROM_UNIXTIME(startTime/1000) startT,
   FROM_UNIXTIME(LEAD(startTime,1,NULL) OVER (PARTITION BY visitorId order by startTime)/1000) AS nextStartT
   FROM es_catalog.default_db.`session_info_2026-01`
   WHERE humanSession=1

查询结果为

  1. 使用case when 为每一条数据打标记,判断是否已解决;
sql 复制代码
 SELECT 
 *,
 (CASE WHEN nextStartT IS NULL THEN 1
  WHEN TIMESTAMPDIFF(HOUR,startT,nextStartT)>72 THEN 1 ELSE 0 END) AS resolved
  FROM (
   SELECT 
   sessionId,
   staffId,
   visitorId,
   startTime,
   FROM_UNIXTIME(startTime/1000) startT,
   FROM_UNIXTIME(LEAD(startTime,1,NULL) OVER (PARTITION BY visitorId order by startTime)/1000) AS nextStartT
   FROM es_catalog.default_db.`session_info_2026-01`
   WHERE humanSession=1
   order by visitorId,startTime
  ) AS t1

查询结果

  1. 统计最终结果,求三天解决率
sql 复制代码
SELECT 
staffId `客服ID`,
COUNT(sessionId) `总会话数`,
SUM(resolved) `已解决会话数`,
COUNT(sessionId)-SUM(resolved) AS `未解决会话数`,
ROUND(SUM(resolved)/COUNT(sessionId)*100,2) AS `三天解决率%`
FROM (
 SELECT 
 *,
 (CASE WHEN nextStartT IS NULL THEN 1
  WHEN TIMESTAMPDIFF(HOUR,startT,nextStartT)>72 THEN 1 ELSE 0 END) AS resolved
  FROM (
   SELECT 
   sessionId,
   staffId,
   visitorId,
   startTime,
   FROM_UNIXTIME(startTime/1000) startT,
   FROM_UNIXTIME(LEAD(startTime,1,NULL) OVER (PARTITION BY visitorId order by startTime)/1000) AS nextStartT
   FROM es_catalog.default_db.`session_info_2026-01`
   WHERE humanSession=1
   order by visitorId,startTime
  ) AS t1
 ) AS t2
GROUP BY staffId
ORDER BY `三天解决率%` ASC

查询结果为

相关推荐
云技纵横1 天前
唯一索引 INSERT 死锁实战:5 秒复现交叉插入的 S 锁循环等待
sql·mysql
hboot2 天前
AI工程师第二课 - 数据处理
人工智能·python·数据分析
得物技术2 天前
从埋点需求到规则资产:Hermes Agent 重构得物数仓工作流
大数据·llm·ai编程
久美子2 天前
AI驱动数仓建设的Harness工程实践——本体建模、知识分层与上下文工程
大数据
大树883 天前
金刚石散热越强,管路越先见顶
大数据·运维·服务器·人工智能·ai
大志哥1233 天前
ES和Logstash日志链路系统上线后遭遇切片爆炸(解决)
大数据·elasticsearch
果丁智能3 天前
物联网智能锁赋能集中式住宿:身份核验与远程权限管控的全链路技术实践
大数据·人工智能·物联网·智能家居
王小王-1233 天前
基于 Hive 的网易云音乐数据分析及可视化系统
hive·hadoop·数据分析·音乐数据分析·网易云音乐分析·hive音乐分析·hadoop网易云
ApacheSeaTunnel3 天前
实战演示 | 基于 Apache SeaTunnel 与 Apache DolphinScheduler 实现 MySQL 到 Doris 离线定时增量同步
大数据·mysql·开源·doris·数据集成·seatunnel·数据同步
weixin_397574093 天前
PDF复杂表格的1:1还原引擎:跨页表格自动拼接技术实战
大数据·人工智能·pdf