数据挖掘:从数据中获取知识

数据挖掘即从数据中获取知识。业界对此认可度最高,但如何开发完整的大数据挖掘项目,至今仍无统一规范。

哲学思想

传统科学工程依赖首要原则模型:如计算汽车行驶距离,先统计时间、速度等参数,再用牛顿定律建模求解。数据挖掘则不同,知识学习无需专业知识建模------若已记录100辆相似汽车的数据,直接求均值即可。这是直接面向数据、从数据开发模型,模拟了人的原始学习过程。

起源

数据挖掘起源于多个学科:建模部分源于统计学(模型驱动)与机器学习(算法驱动)。此外还涉及数据库、可视化等领域。

基本任务

两大目标:预测与描述。预测包括分类(划分到预定义类)与回归(映射到真实值);描述包括聚类(无预定义类划分)与关联规则发现。前者称监督学习,后者称无监督学习。

基本流程

解读需求:与领域专家交流合作,贯穿项目始终。

搜集数据:多从业务系统数据库提取,抽样时需确保训练与检验数据同分布。

预处理:含数据准备(缺失值、异常值、归一化等)与数据归约(维度、值、案例归约)。

评估模型:在不同模型间选择最优,耗费时间往往最少。

解释模型:模型辅助决策,需针对具体环境合理解释。

工程架构

以A公司为例,数据引擎团队分四大组,架构基于维度建模的云数据仓库,对上层提供算法、推荐、可视化支撑。整体分三块:底层数据仓库、中间数据引擎、高层可视化/前端输出。

相关推荐
Raas1001 小时前
AI网关能做成本分摊吗?MAI Gateway(魔芋企业级AI网关)如何赋能企业AI能力
大数据·人工智能·ai·大模型·ai网关·mai gateway
像风一样自由20201 小时前
53.NginxAPI-Gateway与鉴权如何保护大模型接口
人工智能·大模型·gateway·智能体
乃嘿仔1 小时前
AI 热点日报 · 2026 年 10 月 12 日
人工智能
Raas1001 小时前
MAI Gateway(魔芋企业级AI网关)能力解析:AI网关能做调用审计吗?AI网关核心功能详解
大数据·网络·人工智能·gateway·ai网关·mai gateway
xwz小王子1 小时前
IROS 2026 面向动态目标的机器人伺服轨迹控制
人工智能·计算机视觉·机器人
小O的算法实验室1 小时前
IEEE TAES,基于DQN 辅助的集群无人机自组网约束多目标重构与优化
人工智能·算法
硅谷秋水1 小时前
MobiAgent:面向长时程移动操作任务的双-环递归策略自我提升方法
人工智能·深度学习·机器学习·语言模型·机器人
openKylin1 小时前
openKylin走进北京理工大学:让开源学习连接社区实践
人工智能·开源·openkylin
硅谷秋水1 小时前
RegenHarness:一种具备“证据门控”递归自我改进能力的机器人智能体框架
人工智能·深度学习·机器学习·语言模型·机器人