Pandas DataFrame 分组聚合中处理 JSON 列的高效方法

当对包含 json(字典/列表)类型列的 dataframe 进行 groupby 时,因字典不可哈希会报错;本文介绍无需序列化/反序列化即可安全、高效完成分组聚合的推荐方案。 当对包含 json(字典/列表)类型列的 dataframe 进行 groupby 时,因字典不可哈希会报错;本文介绍无需序列化/反序列化即可安全、高效完成分组聚合的推荐方案。在 Pandas 中,对含嵌套结构(如字典、列表)的列执行 groupby 操作时,常遇到 TypeError: unhashable type: 'dict' 错误------这是因为 groupby 默认将分组键视为哈希对象,而 Python 字典和列表是可变且不可哈希的。虽然将 JSON 列临时转为字符串(json.dumps)再分组是一种常见 workaround,但该方法存在明显缺陷:引入额外的序列化开销、可能因浮点精度或键序差异导致逻辑不等价的 JSON 被判为不同键、且需手动管理来回转换,易出错且可读性差。更专业、更健壮的解决方案是:避免将 JSON 列作为分组键,而是将其作为被聚合的值,并选用语义明确、无副作用的聚合函数(如 'first'、'last' 或自定义函数)。只要同一分组内 JSON 内容逻辑一致(如示例中两行 json 完全相同),直接取首个即可保留原始结构,且完全规避哈希问题。以下为推荐实现:import pandas as pdimport json# 构造示例数据json_data = { "employees": {"name": "Shyam", "email": "shyam@example.com"}, {"name": "Bob", "email": "bob@example.com"}, {"name": "Jai", "email": "jai@example.com"}, }df = pd.DataFrame({ "key": "A", "A", "val": 1, 2, "json": json_data, json_data # 注意:两行内容完全相同})# ? 推荐做法:以 'key' 为分组键,对 'val' 聚合为列表,对 'json' 取首个(保证结构完整)df_grouped = df.groupby("key").agg({ "val": list, "json": "first" # 安全、高效、保持原生类型}).reset_index()print(df_grouped)输出结果: 文小言 百度旗下新搜索智能助手,有问题,问小言。

相关推荐
我是一颗柠檬3 小时前
【MySQL全面教学】MySQL面试高频考点汇总Day15(2026年)
数据库·后端·mysql·面试
星空椰3 小时前
Python 面向对象高级:继承与类定义详解
开发语言·python
橙淮3 小时前
并发编程(六)
java·jvm
凯瑟琳.奥古斯特4 小时前
高阶子查询题目精炼
开发语言·数据库·python·职场和发展·数据库开发
身如柳絮随风扬4 小时前
数据库读写分离:从原理到实战,构建高并发系统
数据库·mysql
风之所往_4 小时前
Python 3.4 新特性全面总结
python
EntyIU4 小时前
JVM内存与GC笔记
java·jvm·笔记
太阳上的雨天5 小时前
任何格式的文件转Markdown
python·ai
提笔了无痕5 小时前
RAG存储策略中.md格式的切片与存储怎么处理
数据库·ai·rag