数据挖掘:从数据中获取知识

数据挖掘即从数据中获取知识。业界对此认可度最高,但如何开发完整的大数据挖掘项目,至今仍无统一规范。

哲学思想

传统科学工程依赖首要原则模型:如计算汽车行驶距离,先统计时间、速度等参数,再用牛顿定律建模求解。数据挖掘则不同,知识学习无需专业知识建模------若已记录100辆相似汽车的数据,直接求均值即可。这是直接面向数据、从数据开发模型,模拟了人的原始学习过程。

起源

数据挖掘起源于多个学科:建模部分源于统计学(模型驱动)与机器学习(算法驱动)。此外还涉及数据库、可视化等领域。

基本任务

两大目标:预测与描述。预测包括分类(划分到预定义类)与回归(映射到真实值);描述包括聚类(无预定义类划分)与关联规则发现。前者称监督学习,后者称无监督学习。

基本流程

解读需求:与领域专家交流合作,贯穿项目始终。

搜集数据:多从业务系统数据库提取,抽样时需确保训练与检验数据同分布。

预处理:含数据准备(缺失值、异常值、归一化等)与数据归约(维度、值、案例归约)。

评估模型:在不同模型间选择最优,耗费时间往往最少。

解释模型:模型辅助决策,需针对具体环境合理解释。

工程架构

以A公司为例,数据引擎团队分四大组,架构基于维度建模的云数据仓库,对上层提供算法、推荐、可视化支撑。整体分三块:底层数据仓库、中间数据引擎、高层可视化/前端输出。

相关推荐
Jmyd01232 小时前
数字孪生校园ROI测算模型:成本收益参数化与敏感性分析方法
人工智能·数字孪生·三维数字化
IT_陈寒2 小时前
SpringBoot多环境配置把我坑惨了,这个踩坑经验你最好看看
前端·人工智能·后端
不一样的故事1262 小时前
NB/T 47013.8-2015 附录D 吸枪技术
人工智能·经验分享·算法
吴名氏.3 小时前
Java转AI Agent教程(第五周)Prompt工程
java·人工智能·prompt·ai agent
合天网安实验室3 小时前
从压缩到泄露:KV Cache Compression 的选择性失忆与系统提示词风险
人工智能·llm
spapient3 小时前
scx:手写一个零依赖的查询感知上下文压缩器
人工智能
云和恩墨3 小时前
数据库监控简史:从会回答到能交付——AI-DBA如何成为真正的数字同事
数据库·人工智能·dba
宋艳_AI应用开发3 小时前
LangSmith 追踪实战:判断花 4.4 秒,回答花 1 秒,最后一句是"我无法访问"
人工智能
u1301303 小时前
GitHub 热榜项目:日榜(2026-11-02)
人工智能·github
米小虾3 小时前
Agent 省钱工程:七成的钱不是模型花掉的
人工智能·agent