数据挖掘学习笔记

第一章绪论

数据时代

数据挖掘发展的动力

数据爆炸：数据采集工具和成熟的数据存储技术使大量的数据被收集和存储。
我们拥有++丰富的++ 数据，但是缺乏++有用的++信息
迫切需要将++传统的数据分析方法++ 与++用于处理大量数据的复杂算法++相结合。

数据挖掘的的价值

电子商务领域，金融领域，医疗健康领域，交通运输领域，社交媒体领域，制造业领域，教育领域，政府和公共服务领域，农业领域

数据挖掘概念

数据挖掘 是在大型数据库 中自动发现有用信息 的过程
*
- 探查++大型数据库++ 、发现++先前未知的有用模式 (pattern)++
- 可以++预测未来++ 的观测结果，++并非所有++的信息发现任务都被视为数据挖掘（如数据库的查询任务）
- 数据挖掘是++数据库中++ ++知识发现（KDD）++ ++不可缺少的一部分++
  - KDD是识别数据中++有效的、新颖的、潜在有用的和易于理解的模式的++ ++非平凡++ ++过程++
预处理 是将++原始输入数据++ 转换为++适当的格式++ ，以便后续分析
*
- 融合多个数据源的数据，数据清洗（消除噪声和重复值），选择与任务相关的记录和特征
后处理 确保只将有效和有用的结果++集成到决策支持系统（DSS）++ 中
*
- 可视化 ：使得数据分析者从++不同的视角探查++数据和挖掘结果
- 使用++统计度量++ 或++假设检验++ ，++删除虚假++挖掘结果

数据挖掘要解决的问题

可伸缩性/可扩展性

代表一种弹性，随着数据量的快速增长，能够保证旺盛的生命力，通过很少的改动甚至只是硬件设备的添置，就能实现处理能力的线性增长，实现高吞吐量和高性能
- 采样技术：随机采样、均匀采样、水库采样
- 并行（分布式）计算：Map/Reduce计算框架
- 在线/增量学习方法：持续学习（Continual Learning）

高维性

维度（Dimension） 通常是描述数据的++属性或特征++ ，比如地理位置、时间、类别、性别、职业等，它们是用来++划分数据的类别或属性++。
为低维数据开发的传统分析技术通常不能很好地处理高维数据
某些分析算法，随着维度（特征数）的增加，计算复杂度会迅速增加。

异构和复杂

传统分析方法只处理包含相同类型属性的数据集。
现在的数据类型更复杂：文本、图像、音频和视频
为挖掘复杂对象，需要考虑数据中的联系
- 时间和空间的自相关性
- 图的连通性
- 半结构化数据与XML文档的关系

所有权和分布

针对在**++物理上分布式存储++** 的数据需要面临一系列挑战
- 如何降低分布式计算所带来的额外++通信开销++
- 如何有效地从++多个数据源++获得挖掘结果
- 如何解决数据++安全和隐私++问题

数据挖掘的起源

1989年8月于美国底特律市召开的第十一届国际联合人工智能学术会议上首次提到"知识发现"这一概念；
到1993年，美国电气电子工程师学会（IEEE）的知识与数据工程（Knowledge and Data Engineering）汇刊出版了KDD技术专刊，发表的论文和摘要体现了当时KDD的最新研究成果和动态；
1995年在加拿大蒙特利尔召开的首届"知识发现与数据挖掘"国际学术会议上，首次提出了"数据挖掘"这一学科的名称，并把数据挖掘技术分为科研领域的知识发现与工程领域的数据挖掘。

多学科的交叉：设计数据库技术、人工智能、数理统计、机器学习、模式识别、高性能计算、知识工程、神经网络、信息检索、信息的可视化等领域

数据挖掘任务

两大基本任务 ：预测和描述
- 预测任务 ：根据其他属性的值++预测特定属性的值++
  - 被预测的属性：目标变量/因变量
  - 用于预测的属性：解释变量/自变量
- 描述任务 ：导出数据中潜在联系的模式
  - 相关、趋势、聚类、轨迹和异常
  - 探查性的，需要加以验证和解释
预测建模
- 为目标变量建立模型，将其作为解释变量的函数
  - 分类：用于预测离散的目标变量
  - 回归：用于预测连续的目标变量
- 任务目标：使目标变量的预测值与实际值之间的++误差最小++
关联分析
- 用来发现描述数据中强关联 特征的模式
  - 所发现的模式通常用++蕴含规则++ 或++特征子集++的形式表示变量
- 任务目标：以最有效 的方式提取最有趣的模式
聚类分析
- 旨在发现紧密相关 的观测值组群，使得与属于不同簇的观测值相比，属于同一簇 的观测值之间尽可能类似模式。
推荐算法
- 通过一些数学算法，++推测++ 出用户可能++喜欢++的东西
- 任务目标：帮助用户找到++真正想要++的+降低信息过载
异常检测
- 识别特征显著不同于其他数据的观测值，这样的观测值称为异常点 或离群点。
- 任务目标：具有++高检测率++ 和++低误报率++。
图数据分析
- 图（Graph）是一种数据结构，用于模拟物理、生物、社会和信息系统中的许多类型的关系和过程。
- 图由节点或顶点（表示系统中的实体）组成，这些节点或顶点由边（表示这些实体之间的关系）链接。
- 任务目标：使用特定于图的算法来实现节点级 、边级和图级的分析任务。

第二章数据基础

数据类型

属性

属性：对象的性质或特性，因对象而异，或随时间而变化（也称为变量、特性、字段、特征或维）
一组属性用于描述对象（对象也称记录、点、事例、示例、实体或实例）
数据集：数据对象的集合

属性值

属性值是指定给特定对象属性的数值或符号（数值可以具有无穷多个值，符号具有少量的值）
属性和属性值之间的区别（相同的属性可以映射到不同的属性值，不同的属性值可以映射到同一组值）
属性的性质可以不同于表示属性值的性质（年龄属性有最大值，而整数没有）

属性类型

可以定义四种属性类型：标称、序数、区间、比率
- 标称（Nominal） ：标称属性的值是一些符号或实物的++名称++ ，每个值代表某种++类别、编码或状态++。比如：ID，性别
- 序数（Ordinal） ：序数属性可能的取值之间++具有意义的序++ ，但相继值之间的++差是未知的++。比如：排名，等级
- 区间（Interval） ：区间属性可能的++取值之间是有序的++ ，不同取值之间的++差异是有意义的++。比如：日期，温度
- 比率（Ratio） ：具有相等单位++绝对零点++的变量，例如身高、体重等。
属性的类型取决于它拥有以下哪些性质/操作
- 相异性：=和\ne
- 序：[< 、\leq 、>、\geq](#< 、\leq 、>、\geq)
- 差异：+ 和 -
- 比率：* 和 /
标称：相异性；序数：相异性、序；区间：相异性、序、差异；比率：全具备

用值的个数描述属性

离散：具有++有限个值++ 或者++无限可数个值++ ，常用++整数变量++ 表示
- 可以是分类的（如邮政编码或ID号），也可以是数值的（如计数）
- ++二元++ 属性是++离散属性的特例++ ，常用++布尔++变量表示
连续：取++实数值++ 的属性，常用++浮点变量++ 表示
- 例如：温度、高度、重量
通常，++标称和序数++ 属性是++二元的或离散的++ ，++区间和比率++ 属性是++连续++的

非对称属性

只有存在++非零属性值++才被视为重要（文档中出现的单词，客户购买过的商品）
非对称的二元属性：只有++非零值++才重要的二元属性（对于关联分析特别重要）
也存在离散的/连续的非对称属性（比如文档中单词出现的次数/频率）

数据集的重要特性

维度：数据对象具有的++属性数++
- 分析高维数据有时会陷入++维灾难++ ，主要通过++降维++解决
稀疏性 ：稀疏的数据对象++大多数++ 属性值++都是0++
- 对于关联分析特别重要
分布：构成数据对象的属性的各种++值或值得集合++ 出现的++频率++
- 很多数据的分布++并非标准的统计分布++，比如高斯分布

数据集的类型

数据集的分布特征可以从++集中趋势++ 、++离散程度++ 及++分布形态++三个方面进行描述
集中趋势
- 主要测度：++众数、中位数、均值++
  - 均值两点特质：各变量值与均值的离差之和等于0；离差平方和最小
  - 几何平均值：适用于对比率数据的平均，主要用于计算平均增长率。计算公式[G_m=\sqrt[n]{x_1 \times x_2 \times x_3 \times \cdots \times x_n}=\sqrt[n]{\prod_{i=1}^{n}x_i}](#G_m=\sqrt[n]{x_1 \times x_2 \times x_3 \times \cdots \times x_n}=\sqrt[n]{\prod_{i=1}^{n}x_i})
离散程度
- 反映观测变量各个取值之间的++差异++ ，包括：++异众比率、四分位差、方差及标准差、标准分数、离散系数++等。
- 异众比率 ：分类数据离散程度的测度，计算公式\frac{\sum_{}^{}{f_i-f_m}}{\sum_{}^{}{f_i}}=1-\frac{f_m}{\sum_{}^{}{f_i}}
- 四分位数：顺序数据离散程度的测度，把数据分布划分成4个相等的部分，使得每部分表示数据的四分之一，这三个数据点就称为四分位数，下四分位数Q1、中位数Q2、上四分位数Q3.
- 四分位差：Q=Q3-Q1，其中：Q1的位置=(n+1)/4，Q3的位置=3(n+1)/4
- 方差和标准差 ：数据离散程度的最常用测度值；反映了各变量值与均值的平均差异；方差公式为s^2=\frac{1}{n}[(x_1-x)^2+(x_2-x)^2+\cdots+(x_n-x)^2]
- 标准分数 ：也称标准化值，是对某一个值在一组数据中相对位置的度量，计算公式为z_i=\frac{x_i-\bar{x}}s
- 离散系数 ：标准差与其相应的均值之比，消除了数据水平高低和计量单位的影响，其计算公式是V_s=\frac{s}{\bar{x}}
分布形态
- 分布形状通过++偏态和峰态++衡量
- 偏态：倾斜度（skewness），统计数据分布偏移方向和程度的度量。
  - 根据原始数据计算偏态系数[SK=\frac{n\sum(x_i-\bar x)^3}{(n-1)(n-2)s^3}](#SK=\frac{n\sum(x_i-\bar x)^3}{(n-1)(n-2)s^3})
  - SK<0，左偏分布；SK>0，右偏分布；SK=0，对称分布
- 峰态：是反应变量分布++陡峭程度++ 的指标
  - 三种情况：标准正态分布、尖峰分布、扁平分布
分辨率（resolution） ：经常可以在不同的分辨率下得到数据，并且在不同的分辨率下数据的性质不同。
- 数据的模式也依赖于分辨率。如果++分辨率太高++ ，++模式可能看不出++ ，或者掩埋在噪声中；如果++分辨率太低++ ，++模式可能不出现++。
数据集的类型：记录数据、基于图的数据、有序数据
- 记录数据集 ：记录的汇集，每个记录具有++固定的、相同的属性集++ ，记录之间或属性之间没有明显的联系。
  - 事务数据：一种++特殊类型的记录数据++ ；每个记录涉及++一系列项++ ；事务数据是++项的集合++，可以将其视为一组字段为非对称属性的记录
- 基于图的数据 ：图捕获数据对象之间的联系，数据对象本身用图表示
  - 频繁图挖掘：在图的集合中发现一组频繁出现的子结构
- 有序数据
  - 时序事务数据 ：++事务数据的扩充++，每个事务包含一个与之相关联的时间
  - 时间序列数据 ：在不同时间上收集到的数据，用于所描述现象随时间变化的情况（重要考虑++时间自相关性++ ，即如果两个测量的++时间很近++ ，则它们的++值很相似++）
  - 序列数据：一个数据集合，包含各个实体的序列，如词或字母的序列
  - 空间和时空数据 ：具有空间属性的数据对象（重要考虑++空间自相关性++ ，即++物理上靠近++ 的对象趋于在++其他方面也相似++；空间自相关类似于时间自相关）

数据质量

人类的++错误++ 、测量设备的++限制++ 或数据收集过程中的++漏洞++ 都可能导致++不真实或重复的对象++ ，++也会存在不一致++
数据挖掘着眼于两个方面
- 数据质量问题的++检测与纠正++ ------数据清理
- 使用可以++容忍低质量++ 数据的算法------鲁棒算法

测量和数据搜集问题

测量误差 ：测量过程中产生的问题------记录值与实际值不同
- 误差：对于连续属性，测量值与真实值的差
数据搜集错误 ：++遗漏++数据对象或属性值，或者不当地包含了其他数据对象等错误
这两种问题可能是++系统的++ ，也可能是++随机的++

噪声和伪像

噪声：测量误差的++随机部分++，通常涉及值被扭曲或加入了谬误对象（既有时间上的也有空间上的）
使用信号或图像处理技术++降低噪声++，从而帮助发现可能"淹没在噪声中"的模式（信号）
鲁棒算法：在噪声干扰下也能产生可以接受的结果。
数据错误可能是++更确定性现象++ 的结果，伪像就是数据的++确定性失真++

精度、偏置

测量过程和结果数据用精度和偏置度量
精度：（同一个量的）++重复测量++ 值之间的++接近程度++ （用值集合的标准差度量[S=\sqrt{\frac{\sum_{i=1}^{n}{(x_i-\bar x)^2}}{n-1}}](#S=\sqrt{\frac{\sum_{i=1}^{n}{(x_i-\bar x)^2}}{n-1}})）
偏置：测量值与被测值之间的++系统的变化++ ）（用值集合的均值与被测量的已知值之间的差度量[bias^2(x)=(\bar f(x)-y)^2](#bias^2(x)=(\bar f(x)-y)^2))

准确率

准确率：被测量的测量值与实际值之间的接近度
一个重要方面是**++有效数字++** 的使用
- 目标是只使用与数据精度相符的数字来测量或计算结果
缺乏对数据和结果准确率的分析，分析者将可能出现严重的数据分析错误

离群点

离群点：具有++不同于++ 数据集中其他++大部分数据对象++ 的特征的数据对象，或是相对于该属性的典型值来说++不寻常++的属性值。我们也称其为异常对象或异常值。
注意区分噪声和离群点 ：离群点是++合法的++数据对象或值

遗漏值

一个对象++遗漏++ 一个或多个属性值的情况++并不少见++
应对策略 ：
- ++删除++数据对象或属性：删除具有遗漏值的数据对象，然而有时即便不完整的数据对象也可能包含一些有用的信息
- ++估计++ 遗漏值：可以采用++插值方法、邻近点的属性（平均）值、近邻中最常出现的属性值++进行可靠估计。
- 在分析时忽略遗漏值：采用没有遗漏值的属性来计算相似性。

不一致的值

数据可能包含不一致的值
无论原因是什么，重要的是++能检测出来++ 并且如果可能的话，++纠正++ 这种错误，比如基于"++校验++"信息
检测到不一致后，有事可以对数据++进行更正++

重复数据

数据集可以包含重复或几乎重复的数据对象
去重复
- 对于相同的对象，如果存在属性值不同，要++一致化++
- 避免意外地将两个相似但并非重复的数据对象合并
在某些情况下，两个或多个对象在数据库的属性度量上是相同的，但是仍然代表不同的对象

数据预处理

预处理方法 ：++选择++ 分析所需要的数据对象和属性，以及++创建/改变++属性
聚集：将两个或多个对象++合并成单个++ 对象
- 删除属性/压缩特定属性不同值个数的过程，常用于联机分析处理OLAP
- 定量属性通常通过求和和求平均值进行聚集
- 定性属性可以忽略也可以用更高层次的类别来概括
- 动机：1️⃣ 数据归约导致的较小的数据集需要++较少的内存和处理时间++ ； 2️⃣ 通过++高层++ 而不是低层++数据视图++ ，聚集起到了++范围或标度转换++ 的作用； 3️⃣ 对象或属性++群的行为++ 通常比单个对象或属性的行为++更加稳定++（平均值、总数等聚集量具有较小的变异性）
- 聚集的缺点是++可能丢失有趣的细节++
抽样：选择++数据子集++ 进行分析的常用方法
- 使用抽样的算法可以++压缩数据量++，以便可以使用更好但开销较大的数据挖掘算法
- 若样本近似地具有与原数据集相同的（感兴趣的）性质，则称标本是++有代表性的++
- 如果样本是++有代表性的++ ，则++使用样本++ 与++使用整个数据集++ 的++效果几乎一样++
- 选择一个抽样方案 ，确保以很高的概率得到有代表性的样本
  - 简单随机抽样 ：选取任何特定项的++概率相等++
    - 无放回抽样/有放回抽样
  - 分层抽样 ：总体由++不同类型的对象++ 组成并且每种类型的对象++数量差别很大++ 时，简单随机抽样++不能充分地代表不太频繁出现的对象类型++ 。
    - 需要提供具有++不同频率++的感兴趣的项的抽样方案
    - 也叫类型抽样，可以每个类型取相同对象，也可以每一组抽的量++正比于++组大小
  - 蓄水池采样 ：给定一串很长的数据流，对该数据流中数据只能访问一次，使得数据流中所有数据被选中的概率相等
    - 假设需要采样的数量为k，首先构建一个k个元素的数组，将序列的前k个元素放入数组中
    - 对于从第j个元素(j>k)，以\frac{k}{j}的概率来决定该元素是否被替换到数组中，数组中的k个元素被替换的概率是相同的
    - 当遍历完所有元素之后，数组中剩下的元素即为采样样本
- 选择样本容量 ：太大跟没抽样一样，太小容易丢失模式
  - 由于可能++很难确定++ 合适的++样本容量++ ，因此有时需使用++自适应++ 或++渐近抽样++ 方法
    - 从一个小样本开始，然后增加样本容量直至得到足够容量的样本
    - 预测模型的准确率随样本容量的增加而增加，但在++某一点++准确率的增加趋于稳定
    - 掌握模型准确率随样本逐渐增大的变化情况，估计出当前容量与++稳定点++的接近程度
维归约（降维）
- 维灾难 ：随着数据维度的增加，许多数据分析变得非常困难；特别是随着维度增加，++数据在它所占据的空间中越来越稀疏++ ；
  - 对于分类，这可能意味着++没有足够的数据对象来创建模型++，将所有可能的对象可靠地指派到一个类（准确率降低）；
  - 对于聚类，点之间的密度和距离的定义（对聚类时至关重要的）失去了意义（++聚类质量下降++）
- 通过++创建新属性++ 或将一些++旧属性合并++ 在一起以++降低++ 数据集的++维度++ ，使得低维表示++保留++ 原始数据的一些有意义的特性
  - ++删除不相关的特征并降低噪声++，许多数据挖掘算法的效果就会更好
  - 可以使模型只涉及较少的属性、更容易理解，更容易让数据可视化；降低了数据挖掘算法的时间和内存需求
- 最常用的方法是使用**++线性代数技术++** ，将数据由++高维空间++ 投影到++低维空间++，特别是对于连续数据
- 主成分分析PCA是一种用于它++找出新的属性++ （主成分），这些属性是++原属性的线性组合++ ，是相互++正交的++ ，并且捕获了数据的++最大变差++
- 奇异值分解SVD是一种线性代数技术，它与PCA有关，并且也用于维归约
特征子集选择
- 冗余特征 ：++重复++地包含在一或多个其他属性中的许多或所有信息
- 不相关特征 ：包含对于当前的数据挖掘任务++几乎完全没用++的信息
- 冗余和不相关的特征可能++降低分类的准确率，影响聚类的质量++
- 选择方法
  - 理想选择方法 ：将++所有可能的特征子集++ 作为感兴趣的数据挖掘算法的输入，然后++选取能产生最好结果的子集++ （涉及n个属性的自己多达2^n个，++行不通++）
  - 嵌入方法 ：++特征选择作为数据挖掘算法的一部分++ ，在数据挖掘++算法运行期间++ ，算法++本身决定++使用哪些属性和忽略哪些属性。
  - 过滤方法 ：使用某种++独立于数据挖掘任务的方法++ ，在数据挖掘算法++运行前++进行特征选择
  - 包装方法 ：直接把++最终将要使用的数据挖掘算法++ 的性能作为特征子集的++评价准则++ ，但通常++并不枚举所有可能的子集++来找出最佳属性子集
- 可以将过滤和包装方法放到一个共同的体系结构中，特征选择过程可以看作由++四部分++ 组成：++控制新的特征子集产生的搜索策略、子集评估度量、停止搜索判断和验证过程++。
- 过滤：++不同于++ 目标数据挖掘算法；包装：++使用++目标数据挖掘算法
- 特征子集搜索策略的计算花费应当较低，并且应当找到最近或近似最优的特征子集（很难同时满足，要折中）
- 评估步骤需要一种评估度量，确定属性特征子集的质量
  - 过滤方法：预测实际数据挖掘算法在给定的属性集上执行的效果如何
  - 包装方法：运行目标数据挖掘算法，评估函数就是通常用于度量数据挖掘结果的评判标准
- 因为++子集的数量可能很大++ ，考察所有的子集可能不现实，所以需要某种**++停止准则++**
- 策略通常基于如下一个或多个条件：
  - 迭代次数
  - 子集评估的度量值是否最优或超过给定的阈值
  - 一个++特定大小++的子集是否已经得到
  - 使用搜索策略得到的选择是否可以实现改进
- 一旦选定特征子集，就要++验证目标数据挖掘算法++ 在选定子集上的结果
  - 方法1: 将使用++全部特征++得到的结果与使用该特征子集得到的结果进行比较
  - 方法2: 使用一些++不同的特征选择算法++得到多个特征子集，然后比较数据挖掘算法在每个子集上的运行结果
- 特征加权是另一种保留或删除特征的办法
  - 特征越重要，赋予它的权值越大，而对于不太重要的特征，赋予它的权值较小
  - 这些权值可以根据特征的相对重要性的++领域知识++确定，也可以自动确定
特征创建 ：可以由原来的属性++创建新的属性集++ ，以更有效地捕获数据集中的重要信息
- ++新属性的数目++ 可能比原属性++少++，使得我们可以获得前面介绍的维归约带来的所有好处
- 两种方法：特征提取、映射数据到新的空间
  - 特征提取 ：由原始数据创建新的特征集
    - 将数据挖掘用于一个++相对较新的领域++ ，一个关键任务就是++开发新的特征和特征提取方法++
  - 映射数据到新空间 ：使用一种++完全不同的视角++ 去挖掘数据
    - 比如通过对++时间序列++ 实施傅里叶变换，将它转换成++频率信息++明显的表示，就能检测到这些模式
离散化和二元化
- 某些分类算法，要求数据是++分类属性++形式
- ++发现关联模式++ 的算法要求数据是**++二元属性形式++**
- 离散化 ：将**++连续++** ++属性变换成++ ++分类++ ++属性++ ，并且连续和离散属性可能都需要变换成一个或多个++二元属性++ （二元化）
  - 若一个离散属性有m个分类值[0,m-1]，则需[n=\lceil log_2m \rceil](#n=\lceil log_2m \rceil)个二元属性
  - 关联分析需要++非对称的二元属性++ ，其中只有++属性的值为1++ 才是重要的。因此，对于关联问题需要++为每一个分类值引入一个二元属性++
  - 连续属性变换成分类属性涉及两个子任务 ：1️⃣ 决定++需要多少个分类值n++ 2️⃣ 确定如何将连续属性值++映射++到这些分类值
  - 具体步骤：1️⃣ 将连续属性值++排序++ 后，通过指定n-1个++分割点++把它们分成n个区间；2️⃣ 将一个区间中的所有值映射到相同的分类值
  - 离散化问题 就是决定选择++多少个分割点++ 和++确定分割点位置++的问题
  - 两种形式：
    - 无监督离散化：不使用类信息进行离散化（等宽法、等频率或等深）
    - 监督离散化：根据类标对数据进行离散化（极大化区间纯度的方式确定分割点）
  - ++基于熵（纯度的度量）的方法++ 是重要的离散化方法之一。
    - 熵：设k是不++同的类标号数++ ，m_i是某划分的区间i中值的个数，m_{ij}是区间i中类j的值的个数，第i个区间的熵是[e_i=-\sum_{j=1}^{k}p_{ij}log_2p_{ij},\space p_{ij}=\frac{m_{ij}}{m_i}第i个区间中类j的概率](#e_i=-\sum_{j=1}^{k}p_{ij}log_2p_{ij},\space p_{ij}=\frac{m_{ij}}{m_i}第i个区间中类j的概率)
    - 划分的总熵e是每个区间的熵的加权平均：[e=\sum_{i=1}^{n}w_i \times e_i, \space wi=\frac{m_i}{m}第i个区间的值的比例](#e=\sum_{i=1}^{n}w_i \times e_i, \space wi=\frac{m_i}{m}第i个区间的值的比例)
    - 如果一个区间++只包含一个类的值（该区间非常纯）则其熵为0++ ；如果一个区间中的++值类出现的频率相等（该区间非常不纯），则其熵最大++。
- 分类属性有时可能++具有太多的值++
- 如果分类属性是++序数属性++ ，则可以使用类似于处理连续属性的技术，以++减少分类值的个数++
- 如果分类属性是++标称的++ ，就需要使用属性值之间联系的知识，将其++合并成较大的组++（仅当分组结果能提高分类准确率或达到某种其他数据挖掘目标时，才将至聚集到一起）
变量变换 ：用于变量的所有值的变换
- 一个函数，它将给定属性的++整个值集++ 映射到一组新的++替换值++，这样每个旧值都可以用一个新的值来标识（简单函数变换、规范化或标准化）
- 简单函数变换：一个简单的数学函数分别作用于每一个值
- 在统计学中，变量变换（特别是平方根、对数和倒数变换）常用来将不具有高斯（正态）分布的数据变换成具有高斯（正态）分布的数据
- 如果变量具有++很大的值域++ ，常用++对数变换++ 将其进行++压缩++
- 使用变量变换时需要小心，因为它们++改变了数据的特性++（新数据特性，是否保序，是否可作用于0或负值，对0-1间的值有何影响）
- 规范化和标准化 ：使整个值的集合具有特定的性质
  - 最小-最大规范化 ：对原始数据进行线性变换。假如min_A和max_A分别是属性A地最小值和最大值。最小-最大规范化通过如下计算：v_i'=\frac{v_i-min_A}{max_A-min_A}(new\_max-new\_min_A)+new\_min_A把A的值映射到区间[new\_min-A,new\_max_A]中。
    - z分数：也叫++标准分数++，是一个数与平均数的差再除以标准差的过程。
    - [x'=\frac{x-\bar x}{s_x},\bar x](#x'=\frac{x-\bar x}{s_x},\bar x)是属性值的均值（平均值），而s_x是它们的标准差，它具有++均值0和标准差1++
    - 均值和标准差受离群点的影响很大，可以用++中位数取代均值++ ，用++均值绝对偏差取代标准差++ [\bar d=\frac{|x_1-\bar x|+|x_2-\bar x|+\cdots+|x_n-\bar x|}{n}=\frac{\sum_{i=1}^{n}|x_i-\bar x|}{n}](#\bar d=\frac{|x_1-\bar x|+|x_2-\bar x|+\cdots+|x_n-\bar x|}{n}=\frac{\sum_{i=1}^{n}|x_i-\bar x|}{n})
  - 小数定标规范化 ：通过移动属性A的值的小数点位置进行规范化。小数点的移动位数依赖于A的++最大绝对值++ 。A的值v_i被规范化为v_i'，由下式计算：v_i'=\frac{v_i}{10^j}，其中j是使得max(|v_i'|)<1的++最小整数++。

相似性和相异性的度量

基础

相似度 ：两个对象相似程度的数值度量（非负，0不相似，1完全相似）
- 区间变换：s'=\frac{(s-min\_s)}{(max\_s-min\_s)}，和min\_s分别是相似度的最大值和最小值
相异度 ：两个对象差异程度的数值度量（越类似相异度越低，[0,1]或[0,∞]取值）
- 区间变化：d'=\frac{(d-min\_d)}{(max\_d-min\_d)}
- 如果相似度/相异度落在[0,1]区间，则相异度/相似度可以定义为d=1-s或s=1-d
邻近度表示相似性或相异性

简单属性之间的相似度和相异度

下表显示了两个对象x和y在单个简单属性方面的相似性和不相似性

|-------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 属性类型 | 相异度 | 相似度 |
| 标称 | [d=\begin{align} \begin{cases} 0, \space if\space x=y\\ 1, \space if\space x\ne y \end{cases} \end{align}](#属性类型相异度相似度标称 d=\begin{align} \begin{cases} 0, \space if\space x=y\ 1, \space if\space x\ne y \end{cases} \end{align} s= \begin{align} \begin{cases} 1, \space if\space x=y\ 0, \space if\space x\ne y \end{cases} \end{align} 序数 d=\frac{|x-y|}{(n-1)}，值映射到整数0到n-1，其中n是值的个数 s=1-d 区间或比率 d=|x-y| s=-d,\space s=\frac{1}{1+d}, \space s=e^{-d} s=1-\frac{(d-min_d)}{(max_d-min_d)}) | [s= \begin{align} \begin{cases} 1, \space if\space x=y\\ 0, \space if\space x\ne y \end{cases} \end{align}](#属性类型相异度相似度标称 d=\begin{align} \begin{cases} 0, \space if\space x=y\ 1, \space if\space x\ne y \end{cases} \end{align} s= \begin{align} \begin{cases} 1, \space if\space x=y\ 0, \space if\space x\ne y \end{cases} \end{align} 序数 d=\frac{|x-y|}{(n-1)}，值映射到整数0到n-1，其中n是值的个数 s=1-d 区间或比率 d=|x-y| s=-d,\space s=\frac{1}{1+d}, \space s=e^{-d} s=1-\frac{(d-min_d)}{(max_d-min_d)}) |
| 序数 | [d=\frac{|x-y|}{(n-1)}](#属性类型相异度相似度标称 d=\begin{align} \begin{cases} 0, \space if\space x=y\ 1, \space if\space x\ne y \end{cases} \end{align} s= \begin{align} \begin{cases} 1, \space if\space x=y\ 0, \space if\space x\ne y \end{cases} \end{align} 序数 d=\frac{|x-y|}{(n-1)}，值映射到整数0到n-1，其中n是值的个数 s=1-d 区间或比率 d=|x-y| s=-d,\space s=\frac{1}{1+d}, \space s=e^{-d} s=1-\frac{(d-min_d)}{(max_d-min_d)})，值映射到整数0到n-1，其中n是值的个数 | [s=1-d](#属性类型相异度相似度标称 d=\begin{align} \begin{cases} 0, \space if\space x=y\ 1, \space if\space x\ne y \end{cases} \end{align} s= \begin{align} \begin{cases} 1, \space if\space x=y\ 0, \space if\space x\ne y \end{cases} \end{align} 序数 d=\frac{|x-y|}{(n-1)}，值映射到整数0到n-1，其中n是值的个数 s=1-d 区间或比率 d=|x-y| s=-d,\space s=\frac{1}{1+d}, \space s=e^{-d} s=1-\frac{(d-min_d)}{(max_d-min_d)}) |
| 区间或比率 | [d=|x-y|](#属性类型相异度相似度标称 d=\begin{align} \begin{cases} 0, \space if\space x=y\ 1, \space if\space x\ne y \end{cases} \end{align} s= \begin{align} \begin{cases} 1, \space if\space x=y\ 0, \space if\space x\ne y \end{cases} \end{align} 序数 d=\frac{|x-y|}{(n-1)}，值映射到整数0到n-1，其中n是值的个数 s=1-d 区间或比率 d=|x-y| s=-d,\space s=\frac{1}{1+d}, \space s=e^{-d} s=1-\frac{(d-min_d)}{(max_d-min_d)}) | [s=-d,\space s=\frac{1}{1+d}, \space s=e^{-d}](#属性类型相异度相似度标称 d=\begin{align} \begin{cases} 0, \space if\space x=y\ 1, \space if\space x\ne y \end{cases} \end{align} s= \begin{align} \begin{cases} 1, \space if\space x=y\ 0, \space if\space x\ne y \end{cases} \end{align} 序数 d=\frac{|x-y|}{(n-1)}，值映射到整数0到n-1，其中n是值的个数 s=1-d 区间或比率 d=|x-y| s=-d,\space s=\frac{1}{1+d}, \space s=e^{-d} s=1-\frac{(d-min_d)}{(max_d-min_d)}) [s=1-\frac{(d-min\_d)}{(max\_d-min\_d)}](#属性类型相异度相似度标称 d=\begin{align} \begin{cases} 0, \space if\space x=y\ 1, \space if\space x\ne y \end{cases} \end{align} s= \begin{align} \begin{cases} 1, \space if\space x=y\ 0, \space if\space x\ne y \end{cases} \end{align} 序数 d=\frac{|x-y|}{(n-1)}，值映射到整数0到n-1，其中n是值的个数 s=1-d 区间或比率 d=|x-y| s=-d,\space s=\frac{1}{1+d}, \space s=e^{-d} s=1-\frac{(d-min_d)}{(max_d-min_d)}) |

数据对象之间的相异度

距离具有一些众所周知的性质
如果d(x,y)是两个点x和y之间的距离，则如下性质成立：
- 非负性[d(x,y)\geq 0](#d(x,y)\geq 0)、同一性x=y,d(x,y)=0
- 对称性d(x,y)=d(y,x)、三角不等式[d(x,z) \leq d(x,y)+d(y,z)](#d(x,z) \leq d(x,y)+d(y,z))
- 满足以上四个性质的测度称为度量
欧几里得距离 [d(x,y)= \sqrt{\sum_{k=1}^{n}(x_k-y_k)^2}](#d(x,y)= \sqrt{\sum_{k=1}^{n}(x_k-y_k)^2}), n是维度，x_k和y_k分别是x和y的第k个属性
闵可夫斯基距离 d(x,y)=(\sum_{k-1}^{n}|x_k-y_k|^r)^{1/r}
- 三个特例
  - r=1，城市街区、曼哈顿、出租车距离d(x,y)=\sum_{k=1}^{n}|x_k-y_k|
  - r=2，欧几里得距离（L2范数）
  - r=∞，上确界距离、切比雪夫距离d(x,y)=\max_{k}{(|x_k-y_k|)}

数据对象之间的相似度

对于相似度，三角不等式（或类似的性质）通常不成立，但是++对称性++ 和++非负性通常成立++
如果s(x,y)是两个点x和y之间的相似度，则如下性质成立
- 非负性[0\leq s \leq 1;仅当x=y时，s(x,y)=1](#0\leq s \leq 1;仅当x=y时，s(x,y)=1)
- 对称性对于所有x和y，s(x,y)=s(y,x)

邻近度度量的例子

两个仅包含++二元属性++ 的对象之间的相似性度量也称为相似系数，并且通常在0和1之间取值，++值为1表明两个对象完全相似++ ，++0表明对象完全不相似++
设x和y是两个对象，都由n个二元属性组成。这样的两个对象（即两个二元向量）D额比较可生成如下四个量：
- f_{00}：x取0并且y取0的属性个数
- f_{01}：x取0并且y取1的属性个数
- f_{10}：x取1并且y取0的属性个数
- f_{11}：x取1并且y取1的属性个数
简单匹配系数SMC SMC=\frac{值匹配的属性个数}{属性个数}=\frac{f_{00}+f_{11}}{f_{00}+f_{01}+f_{10}+f_{11}}
Jaccard系数 ：J=\frac{f_{11}}{f_{01}+f_{10}+f_{11}}，用来处理仅包含++非对称的二元属性++的对象
文档用向量表示，向量的每个分量（属性）代表一个特定的词（术语）在文档中出现的频率；每个文档向量都是++稀疏++ 的，因为它具有++相对较少的非零属性值++ ；文档的相似性度量不仅影响Jaccard度量一样++需要忽略0-0匹配++ ，而且还必须++能够处理非二元向量++。
余弦相似度 [cos(x,y)=\frac{x \cdot y}{||x||\space||y||}=\frac{\sum_{k=1}^{n}x_ky_k}{\sqrt{\sum_{k=1}^{n}x_k^2}\sqrt {\sum_{k=1}^{n}y_k^2}}](#cos(x,y)=\frac{x \cdot y}{||x||\space||y||}=\frac{\sum_{k=1}^{n}x_ky_k}{\sqrt{\sum_{k=1}^{n}x_k^2}\sqrt {\sum_{k=1}^{n}y_k^2}})
- 两个向量的内积[(x \cdot y)](#(x \cdot y))适用于++非对称属性++ ，只依赖于两个向量中++非零的分量++
- 两个文档之间的相似性只取决于它们中出现的单词
- 余弦相似度实际上是x和y之间++夹角（余弦）的度量++
- 余弦相似度++不考虑两个数据对象的量值++
广义Jaccard系数（Tanimoto系数） [T(x,y)= \frac {x \cdot y} { ||x||^2 + ||y||^2 - x\cdot y} = \frac {\sum_{k=1}^{n}x_ky_k} { \sum_{k=1}^{n}x_k^2 + \sum_{k=1}^{n}y_k^2- \sum_{k=1}^{n}x_ky_k }](#T(x,y)= \frac {x \cdot y} { ||x||^2 + ||y||^2 - x\cdot y} = \frac {\sum_{k=1}^{n}x_ky_k} { \sum_{k=1}^{n}x_k^2 + \sum_{k=1}^{n}y_k^2- \sum_{k=1}^{n}x_ky_k })
- 在++二元属性++ 情况下归约为Jaccard系数[T(x,y)= \frac {x \cdot y} { ||x||^2 + ||y||^2 - x\cdot y} = \frac {f_{11}} { (f_{10}+f_{11})+ (f_{01}+f_{11})- f_{11} }](#T(x,y)= \frac {x \cdot y} { ||x||^2 + ||y||^2 - x\cdot y} = \frac {f_{11}} { (f_{10}+f_{11})+ (f_{01}+f_{11})- f_{11} })
相关性
- 相关性经常被用来测量两组被观察到的值之间的++线性关系++
- 相关性可以测量两个变量（高度和重量）之间或两个对象（一对温度时间序列）之间的线性关系
- 如果两个数据对象中的值++来自不同的属性++ ，可以使用++相关性++ 来度量属性之间的++相似度++
- 统计学中的++三大相关性系数++ ：++Pearson Spearman Kendall++
- 协方差 ：用来衡量两个变量的总体误差
  - ++变化趋势一致，正值，正相关；变化趋势相反，负值，负相关++
  - ++相互独立协方差为0，不相关++
  - [cov(X,Y)=\frac{\sum_{i=1}^{n}(X_i-\bar X)(Y_i - \bar Y)}{n-1}](#cov(X,Y)=\frac{\sum_{i=1}^{n}(X_i-\bar X)(Y_i - \bar Y)}{n-1})
  - 方差是协方差的特殊情况，其中两个属性相同（属性与自身的协方差）
- 皮尔森相关系数 是协方差于标准差的比值
  - [corr(x,y)=\frac{covariance(x,y)}{standard_{deviation(x)} \times standard_{deviation(y)} }=\frac{S_{xy}}{S_xS_y}](#corr(x,y)=\frac{covariance(x,y)}{standard_{deviation(x)} \times standard_{deviation(y)} }=\frac{S_{xy}}{S_xS_y})
  - [S_{xy}=\frac{1}{n-1}\sum_{k=1}^{n}(x_k-\bar x)(y_k-\bar y)](#S_{xy}=\frac{1}{n-1}\sum_{k=1}^{n}(x_k-\bar x)(y_k-\bar y)), [S_x=\sqrt{\frac{1}{n-1}\sum_{k=1}^{n}(x_k-\bar x)^2}](#S_x=\sqrt{\frac{1}{n-1}\sum_{k=1}^{n}(x_k-\bar x)^2}), [S_y=\sqrt { \frac{1}{n-1} \sum _{k=1} ^{n} (y_k-\bar y)^2 }](#S_y=\sqrt { \frac{1}{n-1} \sum _{k=1} ^{n} (y_k-\bar y)^2 })
  - 相关度总是在-1到1之间取值：++1（-1）意味着x和y具有完全正（负）线性关系++ ；相关度为0，则两个数据对象的属性++不存在线性关系++ ，仍然++可能存在非线性关系++。
- 数据变换发现邻近度度量值不变，则该邻近度度量方法被认为++对数据变换具有不变性++
- 相关性度量对于缩放和平移都有不变性，而余弦度量只对缩放具有不变性
- ++闵可夫斯基度量++ 对++缩放和平移都是敏感的++

邻近度计算中的问题

当属性具有++不同的值域++ 通常称作变量具有++不同的尺度++。
当++属性相关++ 时、具有++不同的值域（不同的方差）++ ，并且数据分布++近似于高斯（正态）分布++ 时，马氏距离 是有用的[M(x,y)=\sqrt{(x-y)^T \Sigma^{-1}(x-y)}](#M(x,y)=\sqrt{(x-y)^T \Sigma^{-1}(x-y)})
- \Sigma^{-1}是++数据协方差矩阵的逆++，协方差矩阵的第ij个元素是第i个和第j个属性的协方差
当属性具有++不同类型++ 时，直截了当的方法是++分别计算++ 出每个属性之间的相似度，然后使用一种++输出为0和1之间相似度++ 的方法++组合这些相似度++ 。
- 将总相似度定义为所有属性相似度的平均值；当某些属性是++非对称属性++ ，如果两个对象在这些属性上的++值都是0++ ，则在计算对象相似度时++忽略它们++

当某些属性对邻近度的定义比其他属性更重要时，可以通过对每个属性的贡献++加权++ 来修改邻近度公式，++属性权重++ 为w_k时，[similarity(x,y)=\frac {\sum_{k=1}^{n}w_k*\delta_k*s_k(x,y)} {\sum_{k=1}^{n}w_k*\delta_k}](#similarity(x,y)=\frac {\sum_{k=1}^{n}w_k*\delta_ks_k(x,y)} {\sum_{k=1}^{n}w_k\delta_k})，闵可夫斯基距离的定义也可修改为d(x,y)=(\sum_{k=1}^{n}w_k*|x_k-y_k|^r)^{1/r}

数据可视化

数据可视化 ：旨在通过图形表示清晰有效地表达数据
- 通过将数据映射到图形图元上，深入了解信息空间
- 提供大型数据集的++定性概述++
- 搜索模式、趋势、结构、不规则性、数据之间的关系
- 帮助找到++有趣的区域++ 和++合适的参数++ ，以便进行进一步的++定量分析++
- 提供计算机表示的视觉证明
基于像素的可视化技术
- 一种可视化一维值的简单方法是使用像素，其中**++像素的颜色反映该维的值++**
- 对于一个++m维数据集++ ，基于像素的技术在屏幕上++创建m个窗口++ ，++每维一个++
- 记录++m个维值++ 映射到这些窗口中对应位置上的++m个像素++
- 窗口不必是矩形的，圆弓分割技术使用圆弓形窗口
几何投影可视化技术
- 像素对于我们理解++多维空间++的数据分布帮助不大
- 几何投影技术帮助用户发现++多维数据集的有趣投影++
- 几何投影技术的首要挑战 是设法解决如何++在二维显示上可视化高维空间++
- 散点图使用++笛卡尔坐标++ 显示二维数据点，使用++不同的颜色/形状++表示不同的数据点，可以增加第三维。
- 维数超过4散点图一般不太有效，++散点图矩阵++ 是散点图的一种有用扩充，散点图矩阵是二维散点图的[n\times n](#n\times n)网格，提供每个维与所有其他维的可视化
可视化复杂对象和关系
- 越来越多的非数值数据，标签云是用户产生的标签的统计量的可视化

第三章分类

基本概念

总体思路

分类任务的数据由元组(x,y)组成，其中x是描述实例的++属性值集合++ ，y是实例的++类别标签++ 。属性集x可以包含++任何类型的属性++ ，而++类别标签y必须是可分类的++。
分类模型是++属性集和类别标签之间关系++ 的抽象表示，在数学表达上作为一个**++目标函数f++** ，它将++属性值x作为输入++ 并产生++一个对应于预测类别标签的输出++，如果f(x)=y，则该模型可正确地对实例(x,y)进行分类
分类模型在数据挖掘中担当++两个重要角色++ ：
- 预测模型 ：对先前未标记的实例进行分类（一个好的分类模型必须以++快速的响应时间++ 提供++准确的预测++）
- 描述性模型 ：++识别++ 不同类别实例的++特征++
++类别标签++ 必须是++标称类型++ ，可能++并非所有属性++ 都与分类任务++相关++ ，寻找区分不同类别实例的++最佳属性组合++ 是构建最优分类模型的++关键挑战++。

分类器的种类

二分类器将每个数据实例分配给两种可能的标签中的一种，通常表示为+++1（正类）和-1（负类）++ 。++正类通常指的是我们对正确预测更感兴趣的类别++。
多分类器 ：有++两个以上的可用标签++
确定性分类器 ：对每个它分类的数据实例产生一个++离散值标签++
概率性分类器 ：分配一个++在0-1之间的连续的分数++ 来表示特定标签的++可能性++ ，各++分类下概率总和1++ （提供了更多分配到类时的++置信度信息++ ，实例通常分配给++概率得分最高的类++）
线性分类器 ：用一个++线性分离超平面++来区分不同类别中的实例
非线性分类器 ：能够构造++更复杂的++ 、++非线性的++ 决策表面（++拟合复杂数据不太灵活++，但不容易过拟合）
全局分类器 ：用++单个模型拟合整个数据集++
局部分类器 ：将输入空间划分为++更小的区域++ ，并将++不同的模型拟合于每个区域++ 的训练实例（K近邻分类器是一个经典例子，++更具灵活性++，但更容易过拟合）
生成分类器 ：在预测类别标签的过程中，++学习每个类的生成模型++
判别分类器 ：在没有明确描述每个类别分布的情况下，++直接预测类别标签++（不用对生成机制进行深入研究）
基分类器：基于决策树的方法、基于规则的方法、最近邻方法、朴素贝叶斯和贝叶斯信念网络、支持向量机、神经网络、深度神经网络
集成分类器：提升、装袋、随机森林

一般的分类框架

分类模型是++使用给定的一组实例创建++ 的，这组实例称为++训练集++，其中包含每个实例的属性值以及类别标签
学习算法：用于学习给定训练集的分类模型的系统方法
归纳：使用学习算法++从训练数据建立分类模型++的过程
演绎：在++未知的测试实例++ 上应用分类模型来++预测它们的类别标签++的过程
训练集和测试集应该是++相互独立的++ ，以确保归纳模型能够准确++预测以前从未遇到过++ 的实例的类别标签------++具有良好的泛化性能++
模型（分类器）的性能可以通过++比较实例的预测标签和真实标签++ 来评估，这些信息可以在++混淆矩阵++中总结出来。
评估度量：准确率，错误率
- 对于二分类问题，准确率=\frac{正确预测的数量}{总预测数量}=\frac{f_{00}+f_{11}}{f_{00}+f_{01}+f_{10}+f_{11}}
- 对于二分类问题，错误率=\frac{错误预测的数量}{总预测数量}=\frac{f_{01}+f_{01}}{f_{00}+f_{01}+f_{10}+f_{11}}
- 大多数分类计数的学习算法旨在学习++在应用于测试集++ 时达到++最高准确度++ 或++等效最低错误率++的模型

决策树分类器

基本概念

从根结点开始，应用其属性测试实例，并根据测试结果按照适当的分支进行操作；一旦到达叶结点，将于该结点关联的类别标签分配给测试实例。

构建决策树的基本算法（Hunt）

++搜索空间++ 随数据集规模++指数级上升++ ，++寻找最佳数的代价是昂贵的++
需要在++合理的时间内++ 归纳++出具有合理准确率的决策树++ ，++尽管不是最优的++
++贪心策略++ ：以++自顶向下++ 的方式生成决策树，对++划分训练数据时要使用的属性++ 进行一系列++局部最优++决策
决策树是++递归方式++ 生长，最初包含++与所有训练实例关联的单个根结点++；
如果某个结点++与来自多个类的实例相关联++ ，则会使用由**++拆分标准++** 确定的++属性测试条件++ 进行扩展。为每个属性测试条件的每个结果++创建一个子结点++ ，并将与父结点关联的实例++分发给子结点++ ，可以++递归应用于每个子结点++ （只要它具有多个类的标签），如果某个叶结点相关++所有实例都具有相同的类别标签++则不会进一步扩展
两个关键问题：拆分标准、终止标准
- 拆分标准：决定选择哪个属性作为测试条件以及如何将训练实例分配给子结点
- 终止标准：确定何时应该终止扩展结点的条件

表示属性测试条件的方法

二元属性 的测试条件产生**++两个可能++**的输出
标称属性 可以++有多个属性值++ ，因此**++多路划分和二元划分++** (2^{k-1}-1种)
序数属性 也可以产生二元或多路划分，只要分组++不违反有序性++就能分组
连续属性的测试条件可以表示为产生二元划分的比较测试或表示用于产生多路划分的形的范围查询

如何确定最佳划分（重点）

贪心算法 ：优先考虑更纯净的子集的属性测试条件
- 基尼指数：[Gini\space Index=1-\sum_{i=0}^{c-1}p_i(t)^2](#Gini\space Index=1-\sum_{i=0}^{c-1}p_i(t)^2)
- 熵：Entropy=-\sum_{i=0}^{c-1}p_i(t)log_2p_i(t)
- 分类误差：[Classification\space error=1-max[p_i(t)]](#Classification\space error=1-max[p_i(t)])
子结点的不纯性度量 ：I(子结点)=\sum_{j=1}^{k}\frac{N(v_j)}{N}I(v_j)
- 差异越大条件越好，差异也叫纯度增益 \Delta=I(父结点)-I(子结点)
- I(v_j)是该结点子结点的++熵++ 时，通常称为**++信息增益++** \Delta_{info}

增益率

熵和基尼指数等不纯性度量存在一个++潜在的局限++ ，即它们更容易选择++具有大量不同值的定性属性++
++单一的低不纯性结点++不足以找到良好的属性测试条件
++子结点越多++ ，++决策树越复杂++ ，更容易出现++过拟合++
在决定最佳属性测试条件时，考虑划分属性产生的子结点数量（一种方法是++仅生成二元决策树++ ，从而避免使用不同数量的划分来处理属性；另一种方法是修改划分标准以++考虑属性生成的划分数量++）
[Gain\space Ratio=\frac{\Delta_{info}}{Split\space Info}](#Gain\space Ratio=\frac{\Delta_{info}}{Split\space Info}), [Split \space Info=-\sum_{i=1}^{k}\frac{n_i}{n}log_2\frac{n_i}{n}](#Split \space Info=-\sum_{i=1}^{k}\frac{n_i}{n}log_2\frac{n_i}{n})
- 划分信息（Split Info)测量将结点++划分成子结点的熵++ ，并评估划分++是否会导致大量相同大小的子结点++
- 如果属性++产生大量的划分++ ，则其划分信息也很大，从而++降低了增益率++

决策树分类器的特点

##### 适用性

* 非参数化，不需要先验假设因此适用于各种各样的数据集（连续可分类、多分类），易于理解，简单数据集准确率也与其它分类技术相当

##### 表达能力

* 离散值函数通用表示，可以编码任何离散值属性的函数；每个离散值函数表示为一个赋值表，其中每个离散属性的唯一组合都被赋予一个类别标签，由于每个属性组合可以表示为一个叶结点所以总能找到

##### 计算效率

* 数量可能非常大因此采用基于启发式的方法来指导搜索，自顶向下的贪心递归划分策略，最坏情况下复杂度为[O(\\omega)](#O(\omega))，[\\omega](#\omega)是树的最大深度

##### 处理缺失值

* 信息增益的计算式推广为[Gain(D,a)=\\rho\\times Gain(\\tilde{D},a)=\\rho \\times (Ent(\\tilde D)-\\sum_{v=1}\^{V}\\tilde r_v Eny(\\tilde D\^v)](#Gain(D,a)=\rho\times Gain(\tilde{D},a)=\rho \times (Ent(\tilde D)-\sum_{v=1}^{V}\tilde r_v Eny(\tilde D^v))
* 其中，[Ent(\\tilde D)=-\\sum_{k=1}\^{\|y\|}\\tilde p_klog_2\\tilde p_k](#Ent(\tilde D)=-\sum_{k=1}^{|y|}\tilde p_klog_2\tilde p_k)
* C4.5使用概率划分，CART使用替代划分，CHAID使用独立类

##### 属性之间的相互作用

* 相互作用：一起使用能区分类别，单独使用提供很少或不提供信息
* 存在相互作用时决策树可能表现不佳

##### 处理不相关的属性

* 属性对分类任务无用就利用特征选择技术消除

##### 处理冗余属性

* 属性间强相关说明有属性冗余，选一个作为属性测试条件

##### 使用直线分割

* 边界称为++决策边界++ ，一次只涉及++单个属性++ ，边界是直线++平行于坐标轴++ ；限制了决策树在表示具有++连续属性++ 数据集的决策边界时的表达能力；++倾斜决策树++ 可以通过允许++使用多个属性++指定测试条件来克服这个限制

三种常见的决策树算法

朴素贝叶斯分类器

基本概念

不确定性，所以需要置信度的度量
概率分类模型：利用概率论来表示属性和类别之间的关系

概率论基础

边缘化：对随机变量Y的联合概率求和，我们得到观察剩余变量Y的概率
贝叶斯定理 ：P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(X|Y)P(Y)}{P(X)}
- 全概率公式 ：[P(X)=\sum_{i=1}^{k}P(X,y_i)=\sum_{i=1}^{k}P(X|y_i)\times P(y_i)](#P(X)=\sum_{i=1}^{k}P(X,y_i)=\sum_{i=1}^{k}P(X|y_i)\times P(y_i))
- P(Y)是++类先验概率++ ，P(Y|X)是++后验概率++ ，P(X|Y)是++类条件概率++ （生成分类模型），P(X)不依赖于类别标签可被视为++归一化常数++

朴素贝叶斯假设

条件独立 ：独立[P(X_1,X_2|Y)=P(X_1|Y)\times P(X_2|Y)](#P(X_1,X_2|Y)=P(X_1|Y)\times P(X_2|Y)),假设P(X|Y)=\prod_{i=1}^{d}P(x_i|Y)
工作机制 ：[P(y|x)\propto P(x)\prod_{i=1}^{d}P(x_i|y)](#P(y|x)\propto P(x)\prod_{i=1}^{d}P(x_i|y)),选择能够++最大化后者++ 的类，可以自然地++处理缺失值++ ，没有极端情况仍然可以++使用先验概率作为后验概率的估计++
高斯分布 P(X_i=x_i|Y=y_j)=\frac{1}{\sqrt{2\pi}\sigma_{ij}}exp[-\frac{(x_i-\mu_{ij})^2}{2\sigma_{ij}^2}]，可以用样本均值估计期望值\mu_{ij}，可以用样本方差S^2来估计方差\sigma_{ij}
对噪声/不相关属性具有++鲁棒性++

支持向量机

基本概念

支持向量机SVM 是一种++二分类++ 模型，用于++学习属性空间中的线性或非线性决策便捷来分离类++
提供++正则化能力++ ，控制复杂度确保良好++泛化性能++ ，++学习高度表达模型而不过拟合++
仅使用++最难分类的一个子集++ 来表示++决策边界++（也即支持向量）
++判别模型++，只受两类边界附近的训练实例的影响，而不是学习每个类的生成分布

分离超平面的边缘

++通用方程++ w^Tx+b=0
x代表参数，(w,b)代表超平面的参数。x可以属于超平面++任一侧++ ，取决于w^Tx+b的符号
存在能够完全分离数据集中的类的超平面，则数据集是++线性可分++。
边缘超平面 （分离超平面的平行超平面且接触到两个类最近的实例的超平面），间距称为超平面的边缘
- 支持向量：距离超平面最近的几个样本点
- 较大边缘泛化性能更好（边缘大有余地处理鲁棒性）；边缘小容易受干扰和过拟合

线性SVM

线性SVM是寻找具有最大边缘的分离超平面的分类器，因此它也经常被称为最大边缘分类器
令w^Tx+b=0是一个分离超平面的方程，它通过将两个类放置在超平面相反的两侧来分离这两个类[\left\{ \begin{array}{ll} w^Tx_i+b>0 & y_i=+1 \\ w^Tx_i+b<0 & y_i=-1 \end{array} \right.](#\left{ \begin{array}{ll} w^Tx_i+b>0 & y_i=+1 \ w^Tx_i+b<0 & y_i=-1 \end{array} \right.)
任意线x到超平面的距离D(x)=\frac{|w^Tx+b|}{||w||}

非线性SVM

需要一个非线性变换\varphi，将数据从其原始属性空间映射到一个新的空间，以便线性超平面可以分离这些类。新空间可以构建一个线性超平面。w^T\varphi(x)+b=0

学习模型参数

SVM的优化问题 ：[\min_{w,b}\frac{||w||^2}{2} \\](#\min_{w,b}\frac{||w||^2}{2} \)
- [s.t \space\space\space\space\space\space y_i(w^Tx_i+b)\geq1](#s.t \space\space\space\space\space\space y_i(w^Tx_i+b)\geq1)
- 拉格朗日乘子\lambda，对偶优化问题，仅受最接近SVM的决策边界的支持向量影响
- 最大边缘超平面 可以表示为f(x)=(\sum_{i=1}^{n}\lambda_iy_ix_i^Tx_j)+b=0

组合方法

基本概念

组合或分类器组合 ：通过++聚集多个分类器的预测++ 来++提高分类准确率++ 的技术。
- 构建一组几分类器，并通过对每个基分类器的预测++进行投票++来分类
++组合分类器的性能优于单个分类器++ 必须满足两个必要条件：
- ++基分类器应该相互独立++
- ++基分类器应该好于随机猜测分类器（++ ++\epsilon小于0.5）++

构建组合分类器的方法

基本思想 ：在++原始数据上构建多个分类器++ ，然后在++分类未知样本++ 时++聚集++它们的预测结果
通过处理训练数据集：抽样得到多个数据集，装袋、提升
通过处理输入特征：选择输入特征的子集，随机森林（决策树）
通过处理类标签：适合类数足够多，类标签随机划分两个子集变换为二分类问题，重新标记数据得到新的一组基分类器，统计选票，例如ECOC错误-纠错编码
通过处理学习算法：相同的训练数据上多次执行算法

装袋

装袋/自助聚集 ：根据++均匀概率分布++ 从数据集中++有放回的重复抽样技术++。每个自助样本集都和原始数据集一样大。
决策树桩：仅包含一层的二叉决策树

提升

提升是一个++迭代的过程++ ，用于++自适应地改变训练样本的分布++ ，使得基分类器聚焦那些++难以分类的样本++。
不同于装袋，提升给每个训练样本++赋一个权重++ ，而且可以在每一轮提升过程结束时++自动地调整权重++ 。可以用来++抽样分布++ 或者++学习偏向于更高权重示例的模型++。
初始时权重都相同\frac{1}{N}，每一轮提升结束更新权重，增加错误样本权重，减少正确分类样本权重。
AdaBoost算法 ：错误率[\epsilon=\frac{1}{N}[\Sigma_jw_j\delta(C_i(x_j)\ne y_j]](#\epsilon=\frac{1}{N}[\Sigma_jw_j\delta(C_i(x_j)\ne y_j])
- C_i是基分类器，\delta判断谓词真则为1否则为0
- w_j^{(i)}表示第i轮迭代分配的权重，更新方式[w_j^{(i+1)}=\frac{w_j^{(i)}}{Z_i}\times \left\{ \begin{array}{ll} e^{-\alpha_i} & \text{if } C_i(x_j)=y_j \\ e^{\alpha_i} & \text{if } C_i(x_j)\ne y_j \end{array} \right.](#w_j^{(i+1)}=\frac{w_j^{(i)}}{Z_i}\times \left{ \begin{array}{ll} e^{-\alpha_i} & \text{if } C_i(x_j)=y_j \ e^{\alpha_i} & \text{if } C_i(x_j)\ne y_j \end{array} \right.)
- \alpha_i称为基分类器C_i的重要性，定义为\alpha_i=\frac{1}{2}ln(\frac{1-\epsilon_i}{\epsilon_i})

随机森林

随机森林试图通过构建++去相关决策树组合分类器++ 来提高++泛化性能++。
基于++装袋++ 的思想，使用不同训练数据集的自助样本来学习决策树；与装袋的关键区别在于++在一小组随机选择的属性中选择划分标准++
- 随机森林不仅通过++操纵训练实例++ ，还通过++操纵输入属性++来构建决策树的集合。
- 有放回随机抽样实例 ➡️ 随机抽样一组p个属性 ➡️ 选择一个属性

模型的过拟合

基本概念

模型++没有++ 很好地捕捉到数据特征，++不能够++ 很好地拟合数据，这种情况称为++模型欠拟合++。
有的模型即使++能够很好地覆盖训练数据++ ，但它仍然可能表现出++较差的泛化性能++ ，++过拟合++。
模型过拟合 ：在++追求训练错误率最小化的过程++ 中，选择了一种++过于复杂的模型++ ，这种模型捕捉到了++训练数据中的特定模式++ ，但没能获取到++整体数据中属性和类别标签之间的本质关系++

过拟合的原因

有限的训练规模：增大训练数据可以减少过拟合影响
高模型复杂度

模型评估

基本概念

模型评估：估计模型泛化性能的方法
正确方法：在有标签的测试集上，对学习模型的性能进行评估，测试集从未被使用
- D.train用于模型选择，D.test用于计算测试错误率err_{test}

留出法（Holdout）

多次重复，随机子采样/重复留出法

交叉验证（Cross-Validation）

随机划分，不同子集测试，最后求均值
k折交叉验证方法 ：分成k相等大小的分区或子类，重复k次
- 特殊情况：留一法，每次运行只使用一个数据实例进行测试

超参数的使用

基本概念

超参数不会出现在最终分类模型
取值在模型选择期间被确定，模型评估期间也要考虑超参数

超参数选择

D.train分为三个部分，其中一折D.val用于验证，其余两折D.tr用于训练
求和计算，选择验证错误率最低的超参数p^*，并使用它习得模型m^*

类不均衡问题

基本概念

倾斜/类不平衡：不同类别的实例数量不接近
带来两个挑战 ：
- 很难找到++充足的稀有类别的样本++
- ++准确率++ 不适合在++类不平衡的测试数据++中评估模型

类不平衡的分类器构建

考虑因素 ：
- 既能充分表示多数类，也能表示少数类（过采样、欠采样）
- 调整分类决策，匹配不平衡测试集的要求，分类模型输出转换为实数分数然后选择合适的阈值
平衡数据集：欠采样（降低多数类）、过采样（生成少数类SMOTE）

带类不平衡的性能评估

第四章回归

基本概念

基本定义

回归分析 ：确定++两种或两种以上变量间相互依赖的定量关系++的一种统计分析方法
作为一种++预测模型++ ，它基于++观测数据++ 建立变量间++适当的依赖关系++ ，以便分析数据间的内在规律，并应用于++预测、控制++等问题

回归类别

回归与分类均为++有监督学习++ 问题，其中++输入x++ 和++输出y++ 的数值是++给定++ 的，任务是++学习++ 从输入到输出的映射
- 按照问题所++涉及变量的多少++ ，可将回归分析分为++一元回归分析++ 和++多元回归分析++
- 按照自变量和因变量之间++是否存在线性关系++ ，分为++线性回归分析++ 和++非线性回归分析++

线性回归

基本概念

线性回归 ：因变量y和一个或多个自变量x之间建立一种**++线性方程关系++**
- 线性回归是常用的建模技术之一，也通常是人们在学习预测模型时首选的技术之一
- 在这种技术中，++因变量是连续的++ ，++自变量可以是连续的也可以是离散的++
++只有两个变量++ ，一个因变量和一个自变量，且自变量与因变量之间的函数关系能够++用一条直线来近似表示++ ，那么称其为++一元线性回归分析++。

一元线性回归

E(y)=\beta_0+\beta_1x
这个方程对应的图像时一条直线，称作回归线，其中\beta_0是回归线的截距，\beta_1是回归线的斜率，E(y)是给定x值下y的期望值（均值）
最小二乘法
- 出发点是使实际测量数据y_i与拟合直线上的估计值\hat{y_i}的差（残差）的平方和为最小，即min\sum(y_i-\hat{y_i})^2
- 让总的误差的平方最小的y就是真值，这是基于"如果误差是随机的，应该围绕真值上下波动"
- [\beta_o=\frac { \sum x_i^2\sum y_i-\sum x_i\sum x_iy_i } { n\sum x_i^2-(\sum x_i)^2 }](#\beta_o=\frac { \sum x_i^2\sum y_i-\sum x_i\sum x_iy_i } { n\sum x_i^2-(\sum x_i)^2 }), [\beta_1=\frac { n\sum x_iy_i-\sum x_i\sum y_i } { n\sum x_i^2-(\sum x_i)^2 }](#\beta_1=\frac { n\sum x_iy_i-\sum x_i\sum y_i } { n\sum x_i^2-(\sum x_i)^2 })

多元线性回归

线性模型试图学得一个通过++属性的线性组合++ 来进行预测的函数，即f(X)=\beta_0+\beta_1X1+\beta_2X2+\cdots+\beta_dX_d
\beta_1,\beta_2,\cdots,\beta_d称为++偏回归系数++ ，\beta_i的意义是当++其他自变量[X_j(j\ne i)](#其他自变量X_j(j\ne i)都固定)都固定++ 时，++自变量X_i每变化一个单位++ 而使++因变量平均改变++的数值
参数的最小二乘估计量为\beta=(X^TX)^{-1}X^TY

非线性回归

基本概念

两个现象变量之间的相关关系++并非二元关系++ ，而呈现++某种非线性的曲线关系++
对于非线性回归问题，常采用适当的++变量代换++ ，把问题++转化为线性回归问题++ ，++求出线性回归模型++后代回，得到非线性回归方程。

幂函数型

样本点分布在某幂函数曲线y=c_1x^{c_2}的周围，其中c_1,c_2是待定参数。
变量代换：令[m=ln\space y,\space n=ln \space x](#m=ln\space y,\space n=ln \space x)，变换后样本点应该分布在直线m=an+b的周围，其中[a=c_2,\space b=ln\space c_1](#a=c_2,\space b=ln\space c_1)

指数函数型

样本点分布在某一条指数函数曲线y=c_3e^{c_4x}的周围，其中[c_3,\space c_4](#c_3,\space c_4)是待定参数
变量代换：令[z=ln\space y](#z=ln\space y)，变换后样本点应该分布在直线z=ax+b的周围，其中[a=c_4, \space b=ln\space c_3](#a=c_4, \space b=ln\space c_3)

多项式函数型

进行多项式回归分析，首先要++确定多项式的次数++ ，一般是++根据经验和实验++
假设确定了用一个一元k次多项式来拟合训练样本集，多项式函数表示为[\hat y=\beta_0+\beta_1x+\beta_2x^2+\cdots+\beta_kx^k](#\hat y=\beta_0+\beta_1x+\beta_2x^2+\cdots+\beta_kx^k)，令[x_1=x,\space x_2=x^2,\space \dots,\space x_k=x^k](#x_1=x,\space x_2=x^2,\space \dots,\space x_k=x^k)，则该式可化为[\hat y=\beta_0+\beta_1x+\beta_2x_2+\cdots+\beta_kx_k](#\hat y=\beta_0+\beta_1x+\beta_2x_2+\cdots+\beta_kx_k)，后续采用++类似于多元线性回归++ 的方法求解各\beta值。
多项式回归的优势在于它可以拟合处各种形状的曲线。然而，随着++多项式阶数的增加++ ，模型的++复杂度也会增加++ ，可能会导致++过拟合的问题++。

逻辑回归

基本概念

logistic回归 ：一种++概率判别类型++ ，它直接++利用其属性值来估计数据实例x的概率++
logistic回归的基本思想是使用++线性预测器++ z=w^Tx+b表示x的++概率++ ：[比率值\Rightarrow \frac{P(y=1|x)}{P(y=0|x)}=e^z=e^{w^Tx +b }](#比率值\Rightarrow \frac{P(y=1|x)}{P(y=0|x)}=e^z=e^{w^Tx +b })
如果[w^Tx+b >0](#w^Tx+b >0)，那么x属于第1类，因为它的比率值大于1；否则，x属于第0类
由于P(y=0|x)+P(y=1|x)=1，可以重写\frac{P(y=1|x)}{1-P(y=1|x)}=e^z，进一步简化，将P(y=1|x)表示为z的函数P(y=1|x)=\frac{1}{1+e^{-z}}=\sigma(z)
- [\sigma(\cdot )](#\sigma(\cdot ))称为logistic或者S形函数
- P(y=0|x)可以表示为P(y=0|x)=1-\sigma(z)=\frac{1}{1+e^{z}}
- 如果知道了参数w和b的合适值，可以用上式来估计任何数据实例x的后验概率，并确定其类别标签

学习模型的参数

参数(w,b)是在训练过程中使用最大似然估计法来估计的：需要观察训练数据可能性，然后确定最大似然估计下的模型参数

logistic回归模型的特点

logistic回归是一种用来++直接计算概率的判别类型++ ，它不做任何关于条件概率的假设。因此，它是相当通用的，可以应用于不同的应用程序。它也可以++轻松地扩展到多分类++ ，那是，它被称为多项式logistic回归。然而，它的表达能力++仅限于学习线性决策边界++。
因为每个属性都有不同的权重（参数），因此可以分析logistic回归的学习参数来理解属性和类别标签之间的关系

第五章关联分析

基本概念

总体思路

关联分析 ：用于发现隐藏在大型数据集汇总有意义的联系
- 大型事务数据集代价高，发现的模式可能是偶然的虚假的 ➡️ 有效、评估
频繁项集：用出现在许多事务中的项集来表示所发现的联系
关联规则：表示两个项集之间的关系

基本定义

二元表示：每行一个事务，每列对应一个项，项用二元变量表示（非对称二元变量）
I是所有项的集合，T是所有事务的集合，每个事务包含的项集都是I的子集。
支持度计数/包含某特定项集的事务个数 ：[\sigma(X)=|\{t_i|X\subseteq t_i,\space t_i\in T \}|](#\sigma(X)=|{t_i|X\subseteq t_i,\space t_i\in T }|)
支持度 ：某一项集出现的比率s(X)=\frac{\sigma(X)}{N}
- 如果s(X)比阈值大则称项集X是频繁的；关联规则的强度可以用支持度/置信度度量
- 置信度度量是通过规则进行推理的可靠性，也可以估计条件概率
- 拆分支持度和置信度要求
关联规则挖掘任务两个主要子任务 ：
- 频繁项集产生：发现满足最小支持度阈值的所有项集/频繁项集（开销大）
- 规则的产生：提取所有高置信度的规则/强规则

频繁项集的产生

基本思路

格结构：用于枚举所有可能的项集
++降低产生频繁项集的计算复杂度++ 3种方法：
- ++减少候选项集的数目（M）++：先验原理，不用计算支持度删除某些候选项集
- ++减少比较次数（MN）++：选用更高级的数据结构来存储
- ++减少事务数目（N）++

先验原理

如果一个项集是频繁的，那么它的所有自己一定也是频繁的。
一个项集的支持度永远不会超过其子集的支持度，也称为反单调性

Apriori算法的频繁项集产生

使用++基于支持度的剪枝技术++，系统地控制候选项集的指数增长
两个重要特点：
- 逐层算法：每次遍历项集格中的一层
- 产生-测试策略：新的候选项集由前一次迭代发现的频繁项集产生然后计数，总迭代次数是频繁项集的最大长度+1

候选项集的产生与剪枝

产生：新的候选项集由前一次迭代发现的频繁项集产生
- 未遗漏则是完备的，候选项集的集合必须包含所有频繁项集的集合
- 产生不超过一次是无冗余的
- [F_{k-1}\times F_{k-1}](#F_{k-1}\times F_{k-1})方法：两个候选项集除了最大的都一样就可以合并，完备无冗余
剪枝：基于支持度的剪枝技术，子集非频繁直接删除，不需要计算实际支持度
- 真子集中有任何一个是非频繁的会被立即剪枝

支持度计数

作用：确定在候选剪枝步骤中保留下来的每个候选项集出现的频繁程度
枚举每个事务包含的项集，并利用其更新对应的候选项集的支持度
- 先枚举，再用Hash树（候选项集划分为不同的桶放在Hash树中）

规则的产生

基本概念

忽略前因或后果为空的规则，每个频繁k-项集Y最多可以产生(2^k-2)个关联规则------等于Y的非空真子集的个数
将项集Y划分为两个非空的子集X和Y-X，使[X\rightarrow Y-X](#X\rightarrow Y-X)满足置信度阈值，必然满足支持度阈值因为就是频繁项集产生的。

基于置信度的剪枝

令Y是一个项集，X是Y的一个子集。如果[X\rightarrow Y-X](#X\rightarrow Y-X)不满足置信度阈值，则形如[\tilde X \rightarrow Y- \tilde X](#\tilde X \rightarrow Y- \tilde X)的规则也一定不满足置信度阈值，其中[\tilde X](#\tilde X)是X的子集

Apriori算法中规则的产生

逐层方法产生关联规则，每层对应于规则后果中的项数
[\{acd\} \rightarrow \{b\} ,\space \{abd\} \rightarrow \{c\}](#{acd} \rightarrow {b} ,\space {abd} \rightarrow {c})，可以合并为\{ad\}\rightarrow\{bc\}

关联模式的评估

基本概念

第一套标准：数据驱动方法定义客观兴趣度度量，用来对规则进行排序
第二组标准：主观论据，需要大量先验信息

兴趣度的客观度量

不依赖于领域，只需要用户设置阈值来过滤低质量的模式。
基于列联表中列出的频度技术来计算

- 兴趣因子/提升度 ：兴趣因子度量了模式s(A, B)的支持度与在统计独立性假设下计算出的基准支持度S_{indep}(A,B)的比值
  - [I(A,B)=\frac{N\times f_{11}}{f_{1+}\times f_{+1}}](#I(A,B)=\frac{N\times f_{11}}{f_{1+}\times f_{+1}})，等于1相互独立，大于1正相关，小于1负相关
  - 分析变量之间统计独立性的合适度量方法
- 相关度分析：皮尔森相关系数
  - 二元变量：[\phi=\frac{f_{11}f_{00}-f_{01}f_{10}}{\sqrt {f_{1+}f_{+1}f_{0+}f_{+0}}}](#\phi=\frac{f_{11}f_{00}-f_{01}f_{10}}{\sqrt {f_{1+}f_{+1}f_{0+}f_{+0}}}), 0没关联，+1完全正相关，-1完全负相关
  - [\phi= \frac{ s(A,B)-s(A)\times s(B) }{ \sqrt{ s(A)\times (1-s(A))\times s(B)\times (1-s(B)) } }](#\phi= \frac{ s(A,B)-s(A)\times s(B) }{ \sqrt{ s(A)\times (1-s(A))\times s(B)\times (1-s(B)) } })
  - 用于评估变量之间统计独立性的强度

第六章聚类分析

概述

什么是聚类分析

聚类分析 ++仅根据++ 在数据中发现的++描述对象及其关系的信息++ ，++将数据对象分组（称为簇）++ 。其目标是，++组内的对象是相似的++ （相关的），而++不同组中的对象是不同的++ （不相关的）。++组内的相似性（同质性）越大，组间差别越大，聚类就越好。++
分类是++有监督分类++ ，即使用由类别标签已知的对象开发的模型，对新的、无标记的对象赋予类别标签。++而聚类分析被视为无监督分类。++

聚类的不同类型

##### 层次的与划分的

* **划分聚类** 简单地把数据对象划分成++不重叠的子集（簇）++，使得每个数据对象恰在一个子集中。
* **层次聚类** 是++嵌套簇的集合++ ，组织成一棵树；除叶结点，++每一个结点（簇）都是其子女（子簇）的并集++ ，而++树根是包含所有对象的簇++ 。通常树叶是++单个数据对象++的单元素。

##### 互斥的、重叠的与模糊的

* **互斥的**：每个对象都被指派到单个簇。
* **重叠的/非互斥的**：一个对象同时属于多个组（类）
* **模糊聚类**：每个对象以0（绝对不属于）和1（绝对属于）之间的隶属权值归属于每个簇。不同簇权值之和必须等于1，通常指派到具有最大隶属权值的簇，转化成互斥聚类。

##### 完全的与部分的

* **完全聚类**：将每个对象指派到一个簇。
* **部分聚类**：数据集中的某些对象可能不属于明确定义的组。

簇的不同类型

明显分离的：不必球形，阈值
基于原型的：质心/均值为中心，趋于呈球形
基于图的：连通分支
基于密度的：稠密区域

K均值

K均值算法

K个初始质心，每个点指派到++最近的质心++ ，更新质心，重复++指派更新++直到质心不变
邻近度度量 ：++欧几里得距离/余弦相似性++
质心可能随++数据邻近度度量++ 和++聚类目标++的不同而改变
聚类目标用一个++目标函数++ 表示，该函数依赖于++点之间或点到簇的质心的邻近度++
误差的平方和SSE/散布 ：度量聚类质量的目标函数[SSE=\sum_{i=1}^{K}\sum_{x\in C_i}dist(c_i,x)^2](#SSE=\sum_{i=1}^{K}\sum_{x\in C_i}dist(c_i,x)^2)，其中dist是欧几里得空间中两个对象之间的标准欧几里得距离，第i个簇的质心（均值）[c_i=\frac{1}{m_i}\sum_{x\in C_i}x](#c_i=\frac{1}{m_i}\sum_{x\in C_i}x)，局部最优
文档：目标是++最大化簇中文档与簇的质心的相似性++ ，该量称为簇的++凝聚度++ 。总凝聚度[总凝聚度=\sum_{i=1}^{K}\sum_{x\in C_i}cosine(c_i,x)](#总凝聚度=\sum_{i=1}^{K}\sum_{x\in C_i}cosine(c_i,x))
K均值++ : 一种初始化K均值的新方法，保证Olog(k)内可以找到一个最优K均值聚类的解决方案

二分K均值

将所有点集合分裂成两个簇，选一个继续分裂知道产生K个簇
可以选最大、最大SSE等，局部使用不代表最终总SSE最小

K均值和不同的簇类型

具有++局限性++ ，++非球形状或尺寸密度不同++，K均值很难检测到"自然簇"
一种解决方案：找到大量的簇，小簇再进行组合

凝聚层次聚类

基本概念

两种产生层次聚类的基本方法：
- 凝聚的 ：从++点作为个体簇开始++ ，每一步++合并两个最接近的簇++ 。这需要定义簇的++邻近度++概念。
- 分裂的 ：从包含++所有点的某个簇开始++ ，每一步++分裂++ 一个簇，直到++仅剩下单点簇++ 。在这种情况下，我们需要确定每一步分裂哪个簇，以及++如何++分裂。
- 最常见的是++凝聚层次聚类技术++。
树状图显示++簇-子簇联系++ 和++簇合并（凝聚）或分裂的次序++ 。二维点使用++嵌套簇图++。

基本凝聚层次聚类算法

从++个体点++ 作为簇开始，相继合并两个++最接近++的簇，直到只剩下一个簇。
MIN（单链） 定义簇的邻近度为++不同簇++ 的++两个最近的点之间的邻近度++ （++最短边++）
MAX（全链） 取不同簇中两个++最远的点++ 之间的++邻近度++ 作为簇的邻近度（++最长边++）
组平均技术 ：不同簇的所++有点对邻近值的均值（平均边长）++定义为簇的邻近度。
质心间距离 ：簇的邻近度定义为簇++质心之间的邻近度++。

DBSCAN

基本概念

基于密度的聚类寻找++被低密度区域++ 分离的++高密度区域++。

传统的密度：基于中心的方法

特定点指定半径(Eps)内的点的数量来估计
点可以分为：稠密区域内部；稠密区域边缘；稀疏区域
三个重要的点：核心点、边界点、噪声点

DBSCAN算法

任意++两个足够靠近++ （相互之间的距离在Eps之内）的++核心点++ 将++放在同一个簇中++ 。同样，任何++与核心点足够靠近++ 的++边界点++ 也放到与核心点相同的簇中。如果一个边界点靠近不同簇的核心点，则可能需要++解决平局++ 问题。++噪声点被丢弃++。

时间和空间复杂度

基本时间复杂度 是O(m\times找出Eps邻域中的点所需要的时间)，m是点的个数，最坏情况下时间复杂度O(m^2)
低维空间（尤其二维）平均时间复杂度可以降低到O(mlogm)
即便对于高维数据，空间复杂度 也是O(m)

优点和缺点

基于++密度定义簇++ ，所以++能抗噪声++ ，能处理++任意形状和大小的簇++
++密度变化太大++ 时候、对于++高维数据难以定义密度++的，会出现问题
计算所有点的时候++开销可能很大++

簇评估

概述

簇验证的重要任务 ：
- 确定数据集的++聚类趋势++ （是否存在++非随机结构++）
- 确定++正确的簇个数++
- ++不引用++ 附加的信息，评估聚类分析结果++对数据拟合的情况++
- 将聚类分析结果++与已知的客观结果比较++
- 比较++两个簇集++，确定哪个更好
度量或指标分为三类 ：
- 无监督的 ：不考虑外部信息，++内部指标++，如SSE，进一步分成凝聚、分离
- 有监督的 ：发现的聚类结构与某种++外部结构的匹配程度++ ，++外部指标++
- 相对的 ：比较++不同的聚类或簇++

无监督簇评估：使用凝聚度和分离度

簇凝聚度 ：衡量簇中对象的紧密关系，SSE越小聚类效果越好[SSE=\sum_i\sum_{x\in C_i}(x-m_i)^2](#SSE=\sum_i\sum_{x\in C_i}(x-m_i)^2)
簇分离度 ：测量簇与其他簇的区别或分离程度，SSB越高分离性越好SSB=\sum_i|C_i|(m-m_i)^2, |C_i|表示簇i的大小

轮廓系数

结合了++凝聚度++ 和++分离度++
计算过程：
- 1️⃣ 计算第i个对象到簇中所有其他对象的平均距离a_i
- 2️⃣ 计算第i个对象到包含该对象的任意簇中对象的平均距离b_i
- 3️⃣ 轮廓系数s_i=\frac{b_i-a_i}{max(a_i,b_i)}，-1～1之间，越接近1说明聚类效果越好

无监督簇评估：使用邻近度矩阵

理想的簇 ：点与簇内所有点相似度为1，与其他簇内所有点相似度为0
- 矩阵排序：++块对角结构++
- 块内部相似度非0，其他为0

第七章异常检测

概述

异常检测的目标是++发现一些不符合正常规律和行为++ 的对象。
- 异常对象被称为离群点（outlier） ，因为在数据的散点图中，它们的++分布远离其他的数据点++。
- 异常检测也称为偏差检测 ，因为异常对象的某些属性值++明显偏离该属性的期望值++或典型的属性值
- 异常检测也称为例外挖掘 ，因为异常在某种意义上是++例外++的。
应用场景：欺诈检测、入侵检测、医疗和公共卫生、航空安全

异常检测问题的特性

异常的定义
- 异常是指++不符合正常实例分布++ 的观测，比如与某种分布下大多数实例不相似。
  - 这个定义++没有假设这种分布++ 是可以用++已知统治分布术语++ 轻易表达的。事实上，这种困难正式许多异常检测方法++使用非统计学方法++的原因。
  - 可以按照++看到一个对象的概率++ 或某种更极端的方法来++对数据对象排序++ 。出现的++概率越低++ ，这个对象++越可能是一个异常数据++。
  - 造成异常现象的原因有很多：++噪声++ ，对象++来自不同的分布++ ，对象仅仅是++这个分布中极少出现的++。
数据的性质
- ++输入数据的性质++在决定选择合适的异常检测技术中起着重要的作用。
- 输入数据的一些共有特性包括++属性的数量和类型++，以及描述每个数据实例的表示方式
- 单变量或多变量
  - 如果++单一属性++ ，该对象++是否异常只依赖于这个对象的属性值++是否是异常的
  - 如果++多个属性++ ，可能++某些属性上有异常的数值++，其他属性表现正常
  - 一个对象即使每个++单独属性都不异常++ ，++整体而言也有可能是异常++对象
- 记录数据或邻近度矩阵
  - 表示一个数据集合最常见的方式是++使用记录数据++ 或它的变体，比如数据矩阵，在矩阵中++每个数据实例++ 都++使用相同的属性++进行描述。
  - 一些异常检测方法适应**++邻近度矩阵++**，矩阵中的每一个数值表示两个实例间的接近程度（相似或不相似）
- 标签的可用性
  - 一个数据实例的++标签++ 标明++这个实例是正常的还是异常的++。
  - 如果有一个每个数据实例都++带有标签的训练数据集++ ，那么异常检测的问题就可以转化为++监督学习（分类）问题++。
  - 因为++异常数据非常稀少++ ，获得异常类的++类标++是非常具有挑战性的
  - 本质上++大多数++ 异常检测问题是++无监督的++
  - 给定一个输入数据集，从正常实例中区分出异常实例是非常具有挑战性的
- 异常的两个主要性质
  - 数量相对较少
    - ++正常实例占绝大多数++ ，输入数据集作为正常类的++不完美展示++ ，指定输入数据中++异常值期望++ 数量的机制可以处理具有++大量异常++的数据。
  - 稀疏分布
    - 异常数据++分布稀疏++ ，有一些异常检测方法专门用来找++聚类异常++ ，通常假设这些异常数据的数量很小或者++离其他实例的距离很远++。
如何使用异常检测
- 方法一：给定的输入数据中++既包含正常实例又包含异常实例++，我们要找到异常实例，本章所有异常检测方法都可以在这种设定中使用
- 方法二：获得识别为异常的++测试实例++ （每次出现一个），大多数异常检测方法都能够使用输入数据集来提供++测试实例的输出++。

统计方法

基本概念

统计方法使用概率分布对正常类进行建模。
这些分布的一个重要特征是它们把每一个数据实例和一个概率值进行关联，表示这个实例从分布中生成的可能性有多大。
异常数据被认为是那些不太可能从正常类的概率分布中生成的实例。
有两种类型的模型可以用来表示正常类的概率分布：
- 参数模型：使用那些熟知的统计分布族，这些分布需要从数据中进行参数估计
- 非参数模型：非常灵活，直接从得到的数据中学习正常类的分布

使用参数模型

一些常用的参数模型被广泛用于描述许多类型的数据集，这些模型包括**++高斯分布、泊松分布和二项分布++** 。其中涉及的++参数需要从数据中学习++，例如，高斯模型需要从数据中确定均值和方差这两个参数
参数模型能够非常有效的++表示正常类的行为++ ，尤其当知道正常类服从某个特定分布时。通过参数模型计算的异常分数具有较强的理论性质，可以用于++分析异常分数++ 并评估其++统计显著性++。
将在一元和多元环境下讨论用++高斯分布++ 对正常类进行建模
- 一元高斯分布
  - 两个参数：++均值\mu=\frac{1}{m}\sum_{i=1}^{m}{x_i}++ 和++标准差++ \sigma^2=\frac{1}{m}\sum_{i=1}^{m}{(x_i-\mu)^2}
  - 概率密度函数f(x)表示为：f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}
  - x离分布中心越远，f(x)的值越小，因此可以使用点x到原点的的距离作为异常分数
  - 这个距离值有一个概率解释，可以用来评定x是一个异常点的置信度
- 多元高斯分布
  - 对于由两个或多个连续属性组成的数据集，可以使用多元高斯分布对正常类建模
  - 多元高斯分布N(\mu,\Sigma)包括两个参数：++均值向量\mu和协方差矩阵\Sigma++，它们需要从数据中估计得到
  - 点x的概率密度函数N(\mu,\Sigma)表示为f(x)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}e^{-\frac{(x-\mu)^T\Sigma^{-1}(x-\mu)}{2}}
  - n是x的维数，|\Sigma|表示协方差矩阵的行列式

使用非参数模型

简单的对正常类建模的非参数方法 是++建立正常数据的直方图++。
如果数据包含单一连续的属性，那么可以使用++等宽离散技术++来构造属性的不同范围的容器。
之后，可以检查一个新的实例是否落在了直方图的容器中。如果它没有落在任何一个容器中，则可以认为它是一个异常实例
否则，可以使用实例所在++容器频率的倒数++ 作为它的++异常分数++ 。这个方法称为++基于频率的++ 或++基于计数的++异常检测方法。

基于邻近度的方法

基本概念

基于邻近度的方法把那些++远离其他对象++ 的实例认定为**++离群点++**。
该方法依赖的假设是，++正常实例++ 是++相关的并且彼此接近++ ，而异常的实例与其他实例不同，因此++与其他实例的距离相对较远++。
因为许多基于邻近度的技术都++基于距离变量++ ，因此也称为++基于距离的异常检测技术++。
基于邻近度的方法都是++无模型异常检测技术++ ，因为它们**++没有++** 构建一个++明确的正常类模型++用于计算异常分数。
它们利用每个数据的**++局部视角++** ++计算其异常分数++
它们比统计方法++更加通用++ ，因为确定一个对数据集++有意义的邻近度度量++往往比确定其他统计分布更容易。

基于距离的异常分数

定义数据实例x的++基于++ ++邻近度++ ++的异常分数++ 的最简单方法之一是使用++它到第k个最近邻的距离++ dist(x,k)
- 如果一个++实例x++ 有++许多其他实例位于它的附近（++ 正常类的特性），++dist(x,k)的值将会很小++
- 一个++异常实例x++ 将会和它的++k-近邻实例由非常远的距离++ ，因此++dist(x,k)的值也会比较大++。
- dist(x,k)对k的取值非常敏感，k太小少量离群点的异常分数也会较低；k太大所有对象都有可能变成异常。
另一种基于距离的异常分数是++取前k个最近邻距离的平均值++ avg.dist(x,k)，其对k的选择++更具有++ ++鲁棒性++ 。
- 事实上，avg.dist(x,k)作为一种可靠的基于邻近度的异常分数被广泛应用在多个应用中。

基于密度的异常分数

一个实例周围的**++密度++** 可以定义为\frac{n}{V(d)}，其中++n是指距离它在一个特定距离d内的实例数++ ，++V(d)是邻域的体积++。
由于V(d)对于给定的d是恒定的，所以实例周围的密度通常用++固定距离d内的实例数量++来表示。此定义类似于DBSCAN聚类算法所使用的定义。
从基于密度的观点来看，++异常是++ ++低密度++ ++区域中的实例++ 。因此，一个异常在距离d内具有的实例个数++比正常的实例更少++。
在基于密度的度量中选择参数d是具有挑战性的。
- 如果**++d太小++** ，那么许多++正常实例++ 会++错误地++ 显示++低密度值++
- 如果**++d太大++** ，那么许多++异常++ 可能具有类似于++正常实例的密度++
++基于距离++ 和++基于密度++ 的异常分数是++相反的关系++ 。这可以用来定义如下的密度度量，其基于两个距离度量dist(x,k)和avg.dist(x,k)

density(x,k)=\frac{1}{(x,k)}

avg.density(x,k)=\frac{1}{avg.dist(x,k)}

基于相对密度的异常分数

上述基于邻近度的方法只考虑++单个实例++ 的**++局部性++**来计算其异常分数
在数据包含++不同密度++ 的区域的情况下，这样的方法无法正确地识别异常，因为++正常位置++ 的概念会++随着区域的变化而变化++。（有的区域松一点异常标准应该低一点）
为了正确地识别上述数据集中的异常点，需要一个与相邻实例的密度相关的密度概念
对于一个点x，有一种方法就是计算它的k-近邻（y1到yk）平均密度和x的密度的比率，如下：相对密度(x,k)=\frac{\frac{1}{k}\sum_{i=1}^{k}density(y,k)}{density(x,k)}
当++点附近的平均密度++ 明显++高++ 于点的密度时，它的++相对密度就会很高++

基于聚类的方法

概述

基于聚类的异常检测方法++使用簇++ 来表示++正常类++
这依赖于这样的假设：++正常实例彼此接近++ ，因此可以++被分组成簇++
异常点则为++不符合正常类的簇的实例++ ，或者出现在与++正常类的簇相距很远++的小簇中的实例。
基于聚类的方法可以分为**++两种类型++** ：
- 将++小簇++ 视为++异常++
- 一个点如果++没有很好地符合聚类++将被定义为异常，通常由该点到簇心的距离来度量

发现异常簇

这种方法假定在数据中存在簇异常，其中异常以++小规模的紧密组++出现。
当异常从同一异常类中产生时，就会出现聚类异常。
异常类通常为++小簇++ ，因为异常在自然界中是++罕见的++。
由于异常++不符合正常++ 的模式或行为，所以异常也被期望会++远离正常类的簇++。
检测异常簇的一种基本方法是对++总体数据进行聚类++ ，并++标记大小太小++ 或与其他簇++相距太远的簇++。

发现异常实例

从聚类的角度看，另一种描述一个异常的方式是该实例++不能被任何正常簇解释++
一个异常检测的基本方法是，首先++聚类所有数据++ （主要包括正常实例），然后++评估每个实例属于其各自簇的程度++。
因此，++远离++ 它们各自簇的++质心的实例++ 可以被识别为++异常++。
评估一个对象属于一个簇的程度
- 对于基于原型的簇，有几种方法来评估一个实例属于一个簇的程度。
- 一种方法是度量实例与其簇原型之间的距离，并将其视为该实例的异常分数。
- 如果这些簇的密度不同，那么我们可以构造一个异常分数，该分数可以就实例到簇中其余实例的距离而言，++度量实例到簇原型的相对距离++。
- 另一种可能是++假设簇++ 可以用++高斯分布++ 精确地建模，那就使用++马氏距离++ 作为度量方式M(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}
- 相对距离是++该点与质心的距离++ 跟++该簇中所有点与质心的中位距离++之比

数据挖掘学习笔记

第一章 绪论

数据时代

数据挖掘发展的动力

数据挖掘的的价值

数据挖掘概念

数据挖掘要解决的问题

可伸缩性/可扩展性

高维性

异构和复杂

所有权和分布

数据挖掘的起源

数据挖掘任务

第二章 数据基础

数据类型

属性

属性值

属性类型

用值的个数描述属性

非对称属性

数据集的重要特性

数据集的类型

数据质量

数据质量

测量和数据搜集问题

噪声和伪像

精度、偏置

准确率

离群点

遗漏值

不一致的值

重复数据

数据预处理

相似性和相异性的度量

基础

简单属性之间的相似度和相异度

数据对象之间的相异度

数据对象之间的相似度

邻近度度量的例子

邻近度计算中的问题

数据可视化

第三章 分类

基本概念

总体思路

分类器的种类

一般的分类框架

决策树分类器

基本概念

构建决策树的基本算法（Hunt）

表示属性测试条件的方法

如何确定最佳划分（重点）

增益率

决策树分类器的特点

三种常见的决策树算法

最近邻分类器

基本概念

算法

最近邻分类器的特点

朴素贝叶斯分类器

基本概念

概率论基础

朴素贝叶斯假设

支持向量机

基本概念

分离超平面的边缘

线性SVM

非线性SVM

学习模型参数

组合方法

基本概念

构建组合分类器的方法

装袋

提升

随机森林

模型的过拟合

基本概念

过拟合的原因

模型评估

基本概念

留出法（Holdout）

第一章绪论

第二章数据基础

第三章分类

第四章回归

第五章关联分析

第六章聚类分析

第七章异常检测