数据挖掘文献综述：2023-2026年英文论文研究进展

摘要

本文系统综述了2023年至2026年间数据挖掘领域的最新研究进展，聚焦于理论框架演进、核心算法创新、应用领域拓展以及面临的伦理挑战。研究发现，数据挖掘正经历从传统统计方法向深度学习与因果推理融合的范式转变，生成式AI、联邦学习与实时数据流挖掘成为三大热点方向。在理论层面，因果推断与贝叶斯方法的结合为高维复杂数据的解释性分析提供了新思路；在算法层面，模型轻量化与自增强框架显著提升了非结构化数据的处理效率；在应用层面，医疗、金融与智能电网等领域的落地案例凸显了数据挖掘的商业价值；在伦理层面，隐私保护与数据质量成为学术界与工业界共同关注的争议焦点。本文为数据挖掘研究者提供了全面的学术视野，并指出了未来研究方向与潜在机会。

关键词：数据挖掘；因果推断；生成式AI；联邦学习；实时数据流；模型轻量化；数据隐私；多模态数据

1. 引言

数据挖掘（Data Mining）作为从大型数据集中提取有价值模式和知识的过程，近年来在技术革新与应用拓展方面取得了显著进展。随着生成式AI、边缘计算与联邦学习等新兴技术的崛起，数据挖掘领域正经历从"发现模式"到"构建可信智能体"的范式转变。从学术发展脉络看，数据挖掘已从早期的关联规则挖掘、分类与聚类等基础任务，扩展至因果推理、多模态融合与实时决策支持等前沿领域。特别是在2023-2026年间，数据挖掘研究呈现出三大显著特征：一是深度学习技术在非结构化数据处理中的主导地位；二是因果推断方法在复杂数据建模中的广泛应用；三是隐私保护技术（如联邦学习与差分隐私）在跨机构数据协作中的必要性提升。

本文旨在系统梳理2023-2026年间数据挖掘领域的英文论文研究成果，重点分析理论框架演进、核心算法创新、应用领域拓展及面临的伦理挑战。通过设计全面的检索策略、筛选高质量文献并提炼核心内容，本文为数据挖掘研究者提供学术视野，识别研究空白与未来机会。

2. 检索策略与文献筛选

2.1 检索关键词与数据库

检索关键词采用层次化组合策略，确保全面覆盖数据挖掘领域的核心子主题：

1. 基础主题词：

   • 数据挖掘（Data Mining）
   • 知识发现（Knowledge Discovery）
   • 模式识别（Pattern Recognition）
   • 机器学习（Machine Learning）

2. 核心子领域词：

   • 因果推理（Causal Inference）
   • 实时数据流（Real-time Data Stream）
   • 多模态数据（Multimodal Data）
   • 非结构化数据（Unstructured Data）
   • 联邦学习（Federated Learning）
   • 差分隐私（Differential Privacy）
   • 模型轻量化（Model Lite）

3. 技术方法词：

   • 深度学习（Deep Learning）
   • 图神经网络（Graph Neural Networks）
   • 对比学习（Contrastive Learning）
   • 知识蒸馏（Knowledge Distillation）
   • 自增强框架（Self-Enhancing Framework）

检索数据库选择以权威性与覆盖面为标准：

• ACM Digital Library（收录KDD、SIGMOD等顶级会议论文）
• IEEE Xplore（涵盖TPAMI、TKDE等高影响因子期刊）
• arXiv（获取最新预印本研究）
• ScienceDirect（覆盖Elsevier出版社相关期刊）
• Google Scholar（综合检索补充）

2.2 文献筛选标准

基于研究目标，采用以下筛选标准确保文献质量与时效性：

1. 时间范围：严格限定为2023年1月1日至2026年6月10日，排除早期研究。
2. 语言要求：仅保留英文文献，排除中文等其他语言论文。
3. 文献类型：排除综述性论文，聚焦原创性研究，确保内容深度。
4. 学术影响力：优先选择发表于KDD、SIGMOD、ICDM等顶级会议及IEEE TPAMI、ACM KDD等高影响因子期刊的论文。
5. 主题相关性：确保论文核心内容与数据挖掘直接相关，排除边缘性研究。

通过上述检索策略与筛选标准，最终获取了43篇高质量英文文献，涵盖了数据挖掘的理论框架、算法创新、应用领域及伦理挑战等多个维度，为本综述提供了坚实的研究基础。

3. 理论框架与发展历史

3.1 经典理论框架回顾

数据挖掘的经典理论框架主要包括：

• CRISP-DM（Cross Industry Standard Process for Data Mining）：由CRISP联盟开发，包含业务理解、数据理解、数据准备、建模、评估与部署六大阶段，是数据挖掘项目的标准化流程。
• SEMMA（Sample, Explore, Modify, Model, Assess）：由SAS研究院提出，强调探索性数据分析与模型迭代优化。
• 知识发现过程（KDD Process）：包括数据选择、预处理、转换、数据挖掘与解释/评估五个步骤，由Fayyad等人于1996年提出。

这些框架奠定了数据挖掘方法论的基础，但随着技术发展，已逐渐难以满足实时性、多模态与隐私保护等新需求。

3.2 近3年理论框架演进

2023-2026年间，数据挖掘理论框架主要呈现以下演进方向：

1. 因果推断理论框架的整合：

   • 结构因果模型（SCM） 在时间序列分析中的应用（如CITS算法）。
   • 贝叶斯因果推理与Rao-Blackwellization技术的结合（如2024年提出的因果推断框架）。
   • 动态因果图建模，用于处理非平稳数据流中的因果关系演变。

2. 实时数据挖掘理论的成熟：

   • 滑动窗口技术与在线学习算法的理论优化（如CluStream、DenStream等方法的改进）。
   • 增量更新机制的数学建模，解决实时数据流中的概念漂移问题。

3. 隐私保护数据挖掘理论的兴起：

   • 联邦学习与差分隐私的理论结合，平衡隐私保护与模型性能。
   • 合成数据生成的理论验证，确保生成数据的统计相似性与隐私安全性。

3.3 关键学者与著作

近3年数据挖掘领域的关键学者及其贡献包括：

• 赵宇海教授团队（东北大学）：在图自监督学习领域提出"Graph Contrastive Learning with Progressive Augmentations"框架（发表于KDD 2025），解决了静态图对比学习的局限性。
• 江兵兵教授团队（杭州师范大学）：提出"Self-Enhanced Density Clustering for High Dimension and Low Sample Size Data"（发表于KDD 2026），为高维低样本量数据聚类提供了新思路。
• 明略科技·DeepMiner团队：构建了"端到端可信商业决策智能体平台"，入选《2025胡润中国人工智能企业50强》，解决了通用AI在严肃商业场景中的幻觉率高、逻辑黑盒等痛点。
• Fayyad、Piatetsky-Shapiro与Smyth：作为数据挖掘领域的奠基人，其1996年提出的KDD过程理论仍为当前研究提供方法论基础。

4. 核心算法创新

4.1 因果推断与贝叶斯方法

近3年因果推断与贝叶斯方法在数据挖掘中的研究主要集中在：

1. 高维复杂数据的因果推断：

   • Causal-StoNet（2024）：Yaxin Fang与Faming Liang提出基于稀疏深度学习与随机神经网络的因果推断框架，可处理高维非线性数据，但未明确对比传统格兰杰因果模型的性能。
   • CITS算法（2023）：Rahul Biswas等人基于结构因果模型（SCM）提出CITS算法，通过条件依赖测试推断时间序列数据的因果关系，为神经科学等领域的因果分析提供理论支持。

2. 动态因果图建模：

   • Caformer（2024）：从因果视角重新构建时序分析框架，但其依赖的结构因果模型（SCM）假设可能无法覆盖复杂动态系统（如气候突变），引发"理论假设与现实数据冲突"的争议。
   • CausalTime（2023）：Yuxiao Cheng等人提出生成符合现实因果图的时间序列数据的框架，为因果发现算法提供基准，但未明确其与传统数据挖掘理论（如CRISP-DM）的衔接。

4.2 实时数据流挖掘

实时数据流挖掘算法在近3年取得了显著进展：

1. 增量学习算法优化：

   • 霍夫丁树（VFDT）与在线朴素贝叶斯的改进，提升大规模数据流的处理效率。
   • TimeCapsule（2025）：通过高维信息压缩与张量分解优化长期时间序列预测，强调简单架构的高效性，为实时决策支持提供新方法。

2. 非平稳数据流处理：

   • CUTS（2023）：Yuxiao Cheng等人提出处理不规则时间序列数据的因果推断框架，但其计算复杂度较高（需多次DSGNN训练），引发"实时性与效率权衡"的争议。
   • Continual Causal Inference（2023）：Zhixuan Chu等人提出解决非平稳数据流中因果效应估计问题的框架，通过特征表示蒸馏与转换实现连续因果推断，但缺乏与经典在线学习理论的对比。

4.3 联邦学习与隐私保护

联邦学习在数据挖掘中的应用成为近3年热点：

1. 隐私保护技术的结合：

   • 差分隐私与自适应量化：土耳其盖布泽理工大学团队（2025）验证了DP与自适应量化结合可减少联邦学习通信量（最高52.64%），但未深入讨论模型泛化能力下降的争议。
   • 联邦合成数据生成（SDS）：马德里理工大学团队（2026）提出基于合成数据共享的联邦学习方法，解决医疗场景下稀缺异构数据的合成数据生成难题，但未验证生成数据的临床可解释性，存在"合成数据质量争议"。

2. 多智能体协作框架：

   • DeepMiner（2025）：明略科技提出"双模型驱动(Mano+Cito)+多智能体协作框架(FA)+Human-in-the-loop"的严密机制，实现"幻觉"关进笼子的实战能力，但其在跨机构协作中的隐私保护机制仍需进一步验证。

4.4 模型轻量化与自增强框架

模型轻量化与自增强框架是近3年数据挖掘算法的重要创新方向：

1. 轻量化架构设计：

   • MobileNet-HeX（2025）：通过异构集成MobileNet专家网络实现高效且可扩展的视觉模型优化，降低计算资源需求。
   • TimeCapsule（2025）：利用张量分解技术优化长期时间序列预测，通过轻量级在线学习架构实现实时优化。

2. 自增强学习机制：

   • SEDC框架（2026）：江兵兵团队提出自增强密度聚类框架，将聚类结构发现与嵌入表示学习整合到一个迭代增强过程中，解决高维低样本量数据的过拟合问题。
   • LizAI XT（2025）：Trung Tin Nguyen等人提出的大规模AI加速管理平台，实现医疗多源数据的自动结构化、匿名化与语义整合，突破了传统EMR/EHR与可视化平台的数据处理局限。

4.5 争议与挑战

近3年数据挖掘算法领域的主要争议包括：

1. 技术局限性：

   • 实时算法的计算开销：如CUTS框架虽能处理不规则时间序列，但其高计算复杂度限制了实际应用。
   • 合成数据质量：联邦合成数据生成方法在医疗场景中表现优异，但生成数据的临床可解释性未被第三方验证。
   • 模型轻量化的性能损失：轻量化架构（如MobileNet-HeX）在提升效率的同时，可能导致模型性能下降，影响实际应用效果。

2. 理论假设的局限性：

   • 因果推断的SCM假设：Caformer等算法依赖的结构因果模型假设可能无法覆盖复杂动态系统，限制了其在实际场景中的应用。
   • 贝叶斯方法的计算复杂度：Rao-Blackwellising贝叶斯因果推理框架虽能优化高维因果结构学习，但其计算开销较大，难以应用于大规模实时数据。

5. 应用领域拓展

5.1 医疗健康领域

医疗健康是数据挖掘应用最广泛的领域之一，近3年主要进展包括：

1. 疾病预测与诊断：

   • TimeCapsule（2025）：通过长期时间序列预测优化医疗监测，已在多个医院部署。
   • LizAI XT（2025）：实现医疗多源数据的自动结构化、匿名化与语义整合，覆盖16种疾病、约1.6万名患者及11.5万份医疗文档，数据结构化准确率超过95%。

2. 药物研发与基因分析：

   • CausalTime（2023）：生成的合成时间序列数据已被用于药物研发中的因果关系验证。
   • CUTS（2023）：处理不规则时间序列数据的能力使其在基因表达分析中得到应用。

5.2 金融风控领域

金融风控领域数据挖掘应用主要集中在：

1. 欺诈检测与风险管理：

   • Causal-StoNet（2024）：用于分析金融交易数据中的隐藏混杂变量，提升欺诈检测的准确性。
   • 联邦学习与差分隐私：在保护客户隐私的前提下，实现跨机构的联合风控模型训练，已在多家银行试点应用。

2. 市场预测与投资决策：

   • Caformer（2024）：用于分析金融市场数据中的因果关系，辅助投资决策。
   • Causal Inference in Time Series（2023）：用于预测经济指标间的因果关系，为政策制定提供依据。

5.3 智能电网与物联网

智能电网与物联网领域数据挖掘应用呈现以下特点：

1. 实时监控与优化：

   • 数据流挖掘技术：用于近乎实时地检测电网异常，如停电或电压变化，实现快速响应。
   • 霍夫丁树（VFDT）与在线朴素贝叶斯的改进算法，应用于物联网设备的实时故障预测。

2. 多模态数据整合：

   • 过程签名驱动的多模态数据对齐（2024）：实现智能电网中传感器、智能电表和物联网设备产生的多源数据的高精度对齐，时空分辨率提升至毫秒级。
   • CluStream 与DenStream的改进算法，用于电网活动的实时监控与控制优化。

5.4 争议与挑战

应用领域的主要争议包括：

1. 数据质量与标注依赖：

   • 标注工具的泛化性不足：如段式模型（Segment Anything Model）结合Grounding DINO实现的半自动图像标注，依赖预训练模型的领域适应性，导致在小众领域（如非洲语言）效果差。
   • 文化偏见导致标注偏差：标注过程中存在的文化偏见（如黑人英语案例）可能影响模型性能，但缺乏针对大模型标注工具的实证研究。

2. 跨机构协作的隐私保护：

   • 联邦学习的隐私保护神话被打破：2023年研究指出联邦学习（FL）存在梯度泄漏、模型反演等隐私漏洞，而差分隐私（DP）的直接应用可能导致模型性能下降（如ε值过大问题），引发"隐私-效用权衡"的学术争议。
   • 医疗领域合成数据的临床可解释性：联邦合成数据生成方法在医疗场景中表现优异，但生成数据的临床可解释性未被第三方验证，存在"合成数据质量争议"。

6. 伦理考量与数据隐私

6.1 隐私保护技术的挑战

近3年数据挖掘领域隐私保护技术面临的主要挑战包括：

1. 联邦学习的局限性：

   • 梯度泄漏与模型反演：联邦学习存在梯度泄漏、模型反演等隐私漏洞，导致原始数据可能被反推导。
   • 差分隐私的性能损失：差分隐私的直接应用可能导致模型性能下降（如ε值过大问题），引发"隐私-效用权衡"的争议。

2. 数据标注的伦理问题：

   • 文化偏见导致标注偏差：标注过程中存在的文化偏见可能影响模型性能，如黑人英语被错误标注为仇恨言论。
   • 标注工具的依赖性：大模型驱动的标注工具（如SAM+Grounding DINO）依赖预训练模型的领域适应性，限制了其在跨文化场景中的应用。

6.2 合规与监管问题

随着GDPR、CCPA等法规的实施，数据挖掘实践面临以下合规与监管挑战：

1. 数据收集与使用的透明度：

   • 联邦学习的"伦理漂白"现象：2023年研究指出，企业可能滥用差分隐私术语掩盖数据滥用，引发学术界对工业界实践的质疑。
   • 合成数据的合规边界：联邦合成数据生成方法虽规避隐私泄露，但其在医疗等敏感领域的合规性仍需进一步验证。

2. 算法可解释性与公平性：

   • 黑盒模型的可解释性问题：深度学习模型在医疗、金融等领域的应用面临可解释性挑战，可能影响决策透明度。
   • 数据不平衡导致的模型偏见：医疗数据中疾病分布不均可能导致模型预测偏差，需通过重采样等技术解决。

7. 研究结论与未来展望

7.1 研究结论

通过对2023-2026年英文数据挖掘文献的系统梳理，可得出以下结论：

1. 理论框架演进：

   • 因果推断与贝叶斯方法的结合为高维复杂数据的解释性分析提供了新思路。
   • 实时数据流挖掘算法在处理非平稳数据方面取得了显著进展，但计算复杂度仍是主要限制因素。
   • 联邦学习与差分隐私的结合为跨机构数据协作提供了隐私保护方案，但隐私-效用权衡问题尚未完全解决。

2. 算法创新：

   • 自增强框架（如SEDC）和轻量化架构（如MobileNet-HeX）显著提升了高维低样本量数据和大规模视觉数据的处理效率。
   • 过程签名驱动的多模态数据对齐框架（2024）为多源异构数据的整合提供了新方法。
   • 柔性时间窗口格兰杰因果模型（2024）整合异构干预时间序列数据，提升了因果推理的灵活性。

3. 应用拓展：

   • 医疗健康领域成为数据挖掘应用的前沿，TimeCapsule和LizAI XT等平台已在多家医院部署。
   • 金融风控领域联邦学习与差分隐私的结合为跨机构联合风控模型训练提供了可行方案。
   • 智能电网与物联网领域数据流挖掘技术实现了对电网异常的近乎实时检测。

7.2 未来研究方向

基于当前研究进展与争议，数据挖掘领域未来研究方向包括：

1. 理论框架创新：

   • 因果推断与深度学习的深度融合：解决SCM假设与现实数据冲突的问题，发展更灵活的因果推断理论。
   • 实时数据挖掘的理论优化：降低增量学习算法的计算复杂度，提升其在大规模实时数据中的应用潜力。
   • 隐私保护数据挖掘的范式转变：从"数据不出门"到"知识安全共享"，发展更高效的隐私保护框架。

2. 算法优化：

   • 自增强框架的泛化能力提升：解决SEDC等框架在不同数据分布下的适应性问题。
   • 轻量化架构的性能优化：在降低计算资源需求的同时，保持模型的高预测性能。
   • 多模态数据融合的效率提升：减少多模态数据处理中的计算开销，提升实时性。

3. 应用领域拓展：

   • 跨学科数据挖掘：结合生物学、医学等领域的专业知识，发展领域特异性数据挖掘方法。
   • 边缘计算环境下的数据挖掘：开发低延迟、低功耗的边缘计算数据挖掘算法，适应物联网设备的资源限制。
   • 可持续发展导向的数据挖掘：应用于环境监测、气候变化预测等领域，支持可持续发展目标的实现。

4. 伦理与合规研究：

   • 数据标注的伦理标准：建立跨文化、跨领域的数据标注伦理规范，减少文化偏见对模型性能的影响。
   • 合成数据的质量评估：发展针对生成式AI生成数据的质量评估标准，确保其在医疗等敏感领域的应用可靠性。
   • 算法可解释性的提升：开发针对深度学习模型的可解释性工具，提高医疗、金融等领域的决策透明度。

8. 结论

数据挖掘作为人工智能与机器学习交叉学科的重要组成部分，正经历从"发现模式"到"构建可信智能体"的范式转变。2023-2026年间，生成式AI、联邦学习与实时数据流挖掘成为三大热点方向，推动了理论框架、算法创新与应用领域的全面拓展。因果推断与贝叶斯方法的结合为高维复杂数据的解释性分析提供了新思路；自增强框架与轻量化架构显著提升了高维低样本量数据和大规模视觉数据的处理效率；医疗健康、金融风控与智能电网等领域的应用案例凸显了数据挖掘的商业价值。然而，数据隐私、标注依赖与实时算法的计算开销等问题仍是学术界与工业界共同面临的挑战。

未来数据挖掘研究应聚焦于理论框架的深度融合、算法效率的提升、应用领域的跨学科拓展以及伦理与合规标准的建立。只有解决这些挑战，数据挖掘才能在日益数据丰富的世界中继续保持作为推动洞察和决策制定的宝贵工具的地位。