2024数据挖掘算法与应用
- 1.什么是数据挖掘?数据挖掘的功能有哪些?
- 2.在数据挖掘之前为什么要对原始数据进行预处理?
- 3.缺失值的处理有哪些方法?列出至少6种。
- 4.什么是主成分分析?
- 5.什么是关联规则?
- 6.解释关联规则评价标准提升度,并写出其计算公式。
- 7.简述K-means算法的输入、输出及聚类过程。
- 8.简述DBSCAN算法优缺点
- 9.什么是决策树?如何用决策树进行分类?
- 10.简述ID3算法原理。
- 11.简述提升(boosting)算法原理。
1.什么是数据挖掘?数据挖掘的功能有哪些?
(1)广义:是指从大量的、不完整的、有噪声的、模糊的、随机的实际应用数据中提取出人们事先不知道、潜在有用的信息或知识的过程
(2)狭义:知识发现过程的一个基本步骤
(3)商业:一种新的商业信息处理技术
2.在数据挖掘之前为什么要对原始数据进行预处理?
预处理是对数据进行检测和修正,目的是对获取的脏数据进行一些处理,提高数据的质量,让数据适应和匹配模型,是的数据挖掘的结果更加准确、有价值
3.缺失值的处理有哪些方法?列出至少6种。
(1)忽略元组
(2)人工填写缺失值
(3)用属性的均值填充
(4)用全局常量填充
(5)用与给定元组属于同一类的所有样本的属性的平均值填充
(6)用最可能的值填充
4.什么是主成分分析?
又称PCA技术;
(1)是将数据投射到一个低维子空间以实现降维(2)是数据规约的常用方法
(3)通常用于高维数据集的探索与可视化
(4)还可用于数据压缩、数据预处理
(5)可把可能具有相关性的高维变量转化成线性无关的低维变量
5.什么是关联规则?
形如A--->B的逻辑蕴含表达式,其中A不等于空集,B不等于空集,且A包含于I,B包含于I,并且A和B无交集
6.解释关联规则评价标准提升度,并写出其计算公式。
提升度表示A项集对B项集概率的提升作用,用来判断规则是否有实际价值,在使用该规则后项集出现的频率有没有高于项集单独出现的频率
计算公式:Lift(A--->B)=P( B | A ) / P( B )
7.简述K-means算法的输入、输出及聚类过程。
输入:要分类簇的数目k,包含n个对象的数据库
输出:k个簇
聚类过程:
(1)给每个簇确定一个初始簇中心,有k个簇中心
(2)按照最小距离原则将样本分配到最近邻的簇
(3)使用每个簇的样本均值作为新的簇中心
(4)重复(2)(3),直到簇中心不再发生变化
(5)结束,输出k个簇
8.简述DBSCAN算法优缺点
优点:
(1)聚类速度快
(2)能够有效地处理噪声点,并发现任意形状的簇
缺点:
(1)数据量增大时,要较大的内存,I/O消耗大
(2)当数据密度不均匀时,各簇的簇内距离相差很大时,聚类效果差
9.什么是决策树?如何用决策树进行分类?
什么是决策树:
(1)一种分类方法,分类模型是以二叉树或多叉树的形式表现出来
(2)决策树由决策点、分支点和叶子节点组成,每个分支都是一个新的决策节点,决策点代表一个问题或决策,叶子节点代表可能的分类结果
如何用决策树进行分类:
(1)从上到下遍历决策树,每个节点都会遇到一个测试,对每个节点的上问题的不同输出做出不同决策,最后到达一个叶子节点,得到待分类对象的所属类别
(2)可通过决策树直观、准确地得到分类规则,并对未知数据作出客观、准确的分类判断
10.简述ID3算法原理。
(1)计算所有属性的信息增益,选择信息增益最大的属性作为分裂属性,产生决策树节点
(2)根据该属性的不同取值建立分支
(3)再对各分支递归调用上述方法来建立分支,直到子集中仅包括同一类别或没有可分裂的属性为止,由此得到一颗决策树
11.简述提升(boosting)算法原理。
(1)以弱分类器(通常为决策树)为基学习器,各基学习器之间由相互依赖的串联关系
(2)给训练数据分配权值来降低分类误差
(3)弱分类器分类错误的样本数据在下一次训练弱分类器时加大权值