机器学习基础-机器学习的常用学习方法

半监督学习的概念

少量有标签样本和大量有标签样本进行学习；这种方法旨在利用未标注数据中的结构信息来提高模型性能，尤其是在标注数据获取成本高昂或困难的情况下。

规则学习的概念

基本概念

机器学习里的规则

若......则......

解释：如果预测函数 h^(x) 的输出等于某个值 y^，则实际输出 y 也应为 y

解释：如果预测函数 h(x) 的输出大于0，则样本属于正类（class = 1）；否则属于负类（class = -1）。

解释：如果样本 x 到中心点 ci 的距离小于到其他所有中心点的距离，则样本 x 被分配到簇 ci。

逻辑规则

规则集

如果西瓜的根蒂是缩缩的且肚脐是凹陷的，则该西瓜是好瓜。
如果西瓜的纹理是模糊的，则该西瓜不是好瓜。

充分性与必要性

充分性: 如果条件满足，则结论必然成立。
必要性: 如果结论成立，则条件必须满足。

冲突消解

顺序规则: 按照规则的顺序进行匹配和应用。
缺省规则: 在没有明确规则的情况下使用默认规则。
元规则: 用于处理规则之间的冲突或优先级问题。

命题逻辑 → 命题规则

原子命题:

用大写字母表示，如 A,B,C,...
逻辑连词:

包括：←,→,↔,∧,∨,¬,...
eg：
- 好瓜←(根蒂=蜷缩)∧(脐部=凹陷)
  
  这个规则可以读作："如果西瓜的根蒂是蜷缩的且脐部是凹陷的，则该西瓜是好瓜。"

序贯覆盖

主要一个生成规则集的机器学习算法，主要用于分类任务。
在训练集上每学到一条规则，就将该规则覆盖的样例去除，然后以剩下的样例组成训练集重复上述过程**（分治策略）**

单条规则学习

目标：寻找一组最优的逻辑文字来构成规则体
本质：搜索问题
方法：
- 自顶向下：一般到特殊（特化）
  eg：初始时假设"所有西瓜都是好瓜"，然后逐步增加条件，如"根蒂蜷缩且脐部凹陷"，以更精确地定义哪些西瓜是好瓜。
- 自底向上：特殊到一般（泛化）

剪枝优化

预剪枝
- 使用似然率统计量 (LRS) 来评估规则的有效性，并在规则生成过程中进行剪枝。
- 目的是减少过拟合，提高模型的泛化能力。
后剪枝
- 在规则生成完成后，通过穷举所有可能的剪枝操作来优化规则集。
- 减错剪枝（REP）
  - 用验证集反复剪枝直到准确率无法提高
  - 穷举所有可能的剪枝操作（删除文字，删除规则），复杂度非常高
两者结合
- IREP：每生成一条新规则即对其进行REP剪枝
- IREP*：对IREP的改进
- RIPPER：具体过程如下

① 用IREP*生成规则集，但发现规则覆盖了两个负样本

② 选取该规则，找到其覆盖的样例，之后重新生成规则

③ 特化原规则后再泛化

④ 把新规则和原规则分别置入规则集进行评价，留下最好的

④ 反复优化直到无法进步

强化学习的概念

1. 强化学习对应了四元组

E=<X,A,P,R>

X: 状态空间，表示智能体感知到的环境状态。
A: 动作空间，表示智能体可以采取的动作。
P: 状态转移概率函数，表示在给定当前状态 xx 和动作 aa 下转移到下一个状态 x′x′ 的概率。
R: 奖赏函数，表示在给定当前状态 xx 和动作 aa 下获得的即时奖赏。

2. 强化学习的目标

目标: 机器通过在环境中不断尝试从而学到一个策略 π，使得长期执行该策略后得到的累积奖赏最大。

强化学习常用马尔可夫决策过程 (MDP) 描述

1. 机器所处的环境 F

描述: 机器所处的环境。
示例: 在种西瓜任务中，环境是西瓜生长的自然世界。

2. 状态空间 X

定义: x∈X 是机器感知到的环境的描述。
示例: 瓜苗长势的描述。

3. 机器能采取的行为空间 A

定义: 机器能采取的行为集合。
示例: 浇水、施肥等。

4. 策略 (policy) π

定义 : π:X→A （或 π:X×A→R）
- 策略 π 是一个从状态空间 X 到行为空间 A 的映射，表示在给定状态下智能体应采取的动作。
示例: 根据瓜苗状态是缺水时，返回动作浇水。

5. 潜在的状态转移 (概率) 函数 P

定义 : P:X×A×X→R
- P 描述了在给定当前状态 x 和采取动作 a 后，转移到下一个状态 x′ 的概率。
示例: 瓜苗当前状态缺水，选择动作浇水，有一定概率恢复健康，也有一定概率无法恢复。

6. 潜在的奖赏 (reward) 函数 R

定义 : R:X×A×X→R 或 R:X×X→R
- 表示在状态 x 下采取动作 a 并转移到状态 x′ 时获得的奖赏。
示例: 瓜苗健康对应奖赏 +1，瓜苗凋零对应奖赏 -10。