从Hive函数collect到MySQL函数group_concat

问题背景:

在工作中遇到数据分析时对结果展示的要求。需求如下: 查询在关注时间窗口下(7日)公司相同账户与不同交易对手账户之间的交易行为。 原本预计的展示结果为:

公司账户 公司信息 交易对手账户 交易对手信息 交易信息(日期等)
66666666 AAA 99999991 BBB1 2025-11-04
66666666 AAA 99999992 BBB2 2025-11-06
66666666 AAA 99999993 BBB3 2025-11-15
66666666 AAA 99999994 BBB4 2025-11-22
88888888 AAA 99999995 BBB5 2025-11-26
88888888 AAA 99999996 BBB6 2025-12-01
88888888 AAA 99999997 BBB7 2025-12-30
88888888 AAA 99999998 BBB8 2026-01-01
88888888 AAA 99999999 BBB9 2026-01-04

由于重复数据太多不便于业务人员查看数据之间的关系,经与业务人员讨论后决定调整为如下展示方式:

公司账户 公司信息 相关数据
66666666 AAA 交易对手账户:99999991 交易对手信息:BBB1 交易信息(日期等):2025-11-04 交易对手账户:99999992 交易对手信息:BBB2 交易信息(日期等):2025-11-06
66666666 AAA 交易对手账户:99999993 交易对手信息:BBB3 交易信息(日期等):2025-11-15 交易对手账户:99999994 交易对手信息:BBB4 交易信息(日期等):2025-11-22
88888888 AAA 交易对手账户:99999995 交易对手信息:BBB5 交易信息(日期等):2025-11-26 交易对手账户:99999996 交易对手信息:BBB6 交易信息(日期等):2025-12-01
88888888 AAA 交易对手账户:99999997 交易对手信息:BBB7 交易信息(日期等):2025-12-30 交易对手账户:99999998 交易对手信息:BBB8 交易信息(日期等):2026-01-01 交易对手账户:99999999 交易对手信息:BBB9 交易信息(日期等):2026-01-04

解决方法:

这样的展示方式就需要一个合适的聚合函数来进行数据内容汇总。 之前常使用Hive开发这种情况多用collect,但是本次使用的MySQL使用的时候发现没有这个函数。后面决定使用group_concat。 group_concat嵌套concat_ws可以很好的达到上面的效果:

sql 复制代码
    ,group_concat(concat_ws(''  
         ' 交易对手账户:',account  
        ,' 交易对手信息:',account_info  
        ,' 交易信息(日期等):',trade_date  
  ) ORDER BY trade_date SEPARATOR ';\n') as 相关数据

但是使用起来发现如果数据太长会有数据截断的问题。因此如果数据量比较大需要注意以下设置:

sql 复制代码
-- 查看和设置 GROUP_CONCAT 相关参数
SHOW VARIABLES LIKE 'group_concat_max_len';

-- 临时设置最大长度(默认1024字节) 会话级配置
SET SESSION group_concat_max_len = 1000000;

-- 在查询中设置
SET @@group_concat_max_len = 1000000;

以上就是对于数据汇总展示的一个总结。希望能帮助到需要展示思路 与需要聚合思路的朋友。

番外:

后面了解到也可以通过json的方式来展示这部分数据:

sql 复制代码
JSON_ARRAYAGG(  
    JSON_OBJECT(  
         '交易对手账户',account  
        ,'交易对手信息',account_info  
        ,'交易信息(日期等)',trade_date 
    )  
) as 相关数据

不过问题是展示的字段顺序不可控。这个问题还没有解决的好办法,如果有大佬看到请多做指点。

相关推荐
nice_lcj5202 小时前
MySQL 的锁:行锁、表锁、间隙锁与死锁
mysql·面试·锁·行锁·死锁·间隙锁
Flynn Liang6 小时前
HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程
java·数据库·mysql·高并发·连接池·hikaricp·sql 优化
FungLeo7 小时前
FengCMS · PHP+MySQL 升级实录 ·三重 MD5 迁移 password_hash:老站密码怎么无痛升级
mysql·php·哈希算法·密码安全·fengcms
雾隐隐o7 小时前
优搭校园 01|项目概览、技术选型与初始化
spring boot·mysql·vue
Decay__9 小时前
SQLServer 运维自动化平台 —— PowerShell + SQL Agent 作业:部署、监控、巡检、告警、工单闭环一体化
运维·数据库·sql·mysql·架构
星恒随风10 小时前
MySQL 从零入门(十):MVCC、Undo Log 与 Read View 详解——InnoDB 如何实现事务隔离?
linux·数据库·笔记·sql·mysql
进击的荆棘12 小时前
MySQL——数据类型
数据库·mysql
企业数字化笔记15 小时前
报表上线怎么对账?口径回归、权限抽检与差异定位
java·spring boot·mysql
codeejun15 小时前
每日一Go·MySQL-17、分页优化方案
数据库·mysql
CoderYanger15 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第四弹):图书管理系统(用户登录+添加图书)
java·数据库·spring boot·mysql·面试·java-ee·mybatis