第1章 绪论
1.1 引言
形成优秀的心理表征，自然能成为领域内的专家。
系统1 & 系统2。
机器学习：致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。主要研究计算机从数据中产生model的算法，即"learning algorithm"。
"经验"通常的存在形式------"数据"。
1.2 基本术语
数据集
每条记录------示例------样本
属性
属性值
属性空间------样本空间------输入空间
一个示例------特征向量（feature vector）
训练样本------训练示例（training instance）------训练例
学得模型亦称hypothesis，学习过程是为了逼近ground-truth。本书有时称模型为"学习器"(learner)。
标记空间(label space)------输出空间
分类(classificatioin)：离散值预测类的学习任务。
回归(regression): 连续值预测类任务。
binary classification任务：includes positive class & negative class。
multi-class classification
预测类任务是希望建立输入空间x到输出空间y的映射f
testing：使用学得模型进行预测的过程。
testing sample：被预测的样本。
clustering
cluster
据training data是否拥有label information，划分为supervised learning & unsupervised learning，classification和regression是前者的代表，而clustering是后者的代表。
"泛化(generalization)"能力
1.3 假设空间
科学推理的两大基本手段：induction（归纳）& deduction（演绎）。
induction: 从特殊到一般。
deduciton: 从generalization到specialization。
inductive learning（归纳学习）------从样例中学习。分为广义和狭义。
version space
1.4 归纳偏好
inductive bias：机器学习算法在学习过程中对某种类型假设的偏好。任何一个有效的机器学习算法必有其归纳偏好，否则无法产生确定的学习结果。
Attention！！！
NFL定理：No Free Lunch Theorem！
NFL定理的重要前提：...
NFL Theorem的寓意：具体问题具体分析。学习算法自身的induction bias与problems是否相配，往往起决定性作用。
1.5 发展历程
20世纪50年代到70年代初：AI研究处于"推理期"。
20世纪70年代中期开始，"知识期"。
20世纪80年代，ML成为一个独立的学科领域，各种ML技术百花初绽------学习期。
本书大部分内容均属于广义的induction learning范畴，涵盖supervised learning and unsupervised learning等等。
ILP：Inductive Logic Programming（归纳逻辑程序设计）。
参数调节上失之毫厘，学习结果可能谬之千里。
statistical learning(统计学习)
Support Vector Machine（SVM，支持向量机）
深度学习：狭义地说是"很多层"的神经网络。
ML已发展为一个相当大的学科领域，本节仅管中窥豹。耐心读完本书会有更全面的了解。
1.6 应用现状
在CV及NLP等"计算机应用技术"领域，ML已成为最重要的技术进步源泉之一。ML也为许多交叉学科提供重要的技术支撑。
"数据分析"是ML技术的舞台。
ML提供数据分析能力，云计算提供数据处理能力，众包(crowdsourcing)提供数据标记能力。
数据挖掘（data mining）。
数据挖掘与机器学习的联系。
数据库领域研究为数据挖掘提供数据管理技术。ML和统计学的研究为data mining提供数据分析技术。
ML技术是建立输入与输出之间联系的内核。
奥巴马的"竞选核武器"------R.Ghani领导的机器学习团队。
1.7 阅读材料
第2章 模型评估与选择
2.1 经验误差与过拟合
error rate: E = a/m;
accuracy: = 1 - E
error(误差)
training error------empirical error
generalization error
overfitting(过拟合)： 学习器把训练样本学得"太好"，且将一些的训练样本自身的特点"当作"所有潜在样本具有的一般性质，导致generalization性能下降的现象。亦称"过配"。
underfitting(欠拟合)：亦称"欠配"。
underfitting比较容易克服，overfitting的则很麻烦，且overfitting的问题无法避免，只能"缓解"。
model selection
理想的解决方案，即选择generaliztion error最小的model.
2.2 评估方法
2.2.1留出法（hold-out）
hold-out: 直接将数据集D划分为两个互斥的集合，训练集S和测试集T。
"分层采样（stratified sampling）"：保留类别比例的采样方式。
保真性（fidelity）。
解决留出法的窘境问题，常见做法是将大约2/3 ~ 4/5的样本用于训练，剩余样本用于测试。
2.2.2 交叉验证法(cross validation)
cross validation: 将数据集D划分为k个大小相似的互斥子集。每个子集都尽可能保持数据分布的一致性，即从D中通过分层采样得到。
cross validation通常被称为"k折交叉验证(k-fold cross validation)"。
留一法（Leave-One-Out，简称LOO）：假定数据集D中包含m个样本，若令k = m，则得到cross validation的一个特例。
LOO优点：评估结果往往被认为比较准确；LOO缺点：数据集比较大时，训练的计算开销将会非常大，且NTF定理对实验评估方法同样适用。
2.2.3 自助法(bootstrapping)
bootstrapping: 是一个比较好的解决方案，它直接以bootstrap sampling为基础。
D'作为训练集，D \ D'用作测试集。
"\"表示集合减法。
"out-of-bag estimate(包外估计)"。
bootstrapping在数据集较小、难以有效划分训练/测试集时很有用。其产生训练集的方式对集成学习等方法有很大帮助。但bootstrapping会引入估计偏差。故hold-out和cross validation在初始数据量足够时，更常用一些。
2.2.4 调参与最终模型
大多数学习算法都需设定某些parameter，parameter配置不同，学得model的性能往往有显著差别。
"参数调节"简称"调参（parameter tuning）"。
2.3 性能度量（performance measure）
model的"好坏"是相对的，不仅取决于algorithm和data，还决定于任务需求。
2.3.1 错误率与精度
2.3.2 查准率（precision）、查全率（recall）与F1
TP + FP + TN + FN = 样例总数
confusion matrix(混淆矩阵)
Precision: 给一批定好瓜和坏瓜，能分辨好瓜的能力。
Recall：将好瓜挑全的能力，FN属于把好瓜判为坏瓜，进而将其放回瓜堆。
"平衡点（Break-Event Point，简称BEP）"：是Precision = Recall时的取值。
2.3.3 ROC与AUC
threshold（分类阈值）
cut point（截断点）
ROC（Receiver Operating Characteristic）曲线，源于"二战"中检测检测敌机的雷达信号分析技术。
AUC(Area Under ROC Curve)
2.3.4 代价敏感错误率与代价曲线
unequal cost(非均等代价): 为权衡不同类型错误所造成的不同损失，可为错误赋予"unequal cost"。
cost matrix
total cost
cost-snesitive
2.4 比较检验
本小节涉及的基础知识为《概率论与数理统计》。
hypothesis test
二项（binomial）分布
binomial test(二项检验)
confidence(置信度)
2.4.1 假设检验
2.4.2 交叉验证 t 检验
2.4.3 McNemar检验
2.4.4 Friedman检验与Nemenyi后续检验
F检验
2.5 偏差与方差
偏差-方差分解（bias-variance decomposition）
泛化误差可分解为偏差、方差与噪声之和。
bias-variance dilemma（偏差-方差窘境）
