一、个体与集成
集成学习通过构建并结合多个学习器来完成学习任务。
集成学习的一般结构：
先产生一组"个体学习器"，再用某种策略将它们结合起来，个体学习器通常由一个现有的学习算法从训练数据产生。若集成中只包含同种类型的个体学习器，例如："决策树集成"中全是决策树，"神经网络集成"中全是神经网络，则称这样的集成是同质的。
同质集成中的个体学习器也称为"基学习器"，相应的学习算法称为"基学习算法"。
同时包含不同类型的个体学习器的集成是"异质"的，异质集成中的个体学习器由不同的学习算法生成，这时就不再有基学习算法；相应的，个体学习器一般不称为基学习器，常称为"组件学习器"。
二、集成个体应该"好而不同"
在一个二分类任务中，假定三个分类器在三个测试样本上的表现如上图所示，其中√表示分类正确，×表示分类错误，集成学习的结果通过投票法产生，即"少数服从多数"。图(a)中，每个分类器都只有66.6%的精度，但集成学习却达到了100%的精度；图(b)中，三个分类器的性能没有差别，集成之后性能也没有提高；图©中，每个分类器的精度都只有33.3%，集成学习的结果变得更差。
要获得好的集成，个体学习器应"好而不同" ，即个体学习器要有一定的"准确性"，即学习器不能太差，并且要有"多样性"，即学习器 间具有差异
事实上，个体学习器的"准确性"和"多样性"本身就存在冲突，一般的，各个学习器准确性很高之后，学习器之间存在很大的相似性，要增加多样性就需要牺牲准确性。
根据个体学习器的生成方式，目前的集成学习方法大致可分为两个大类。
个体学习器间存在强依赖关系，必须串行生成的序列化方法 { A d a B o o s t G r a d i e n t B o o s t L P B o o s t ⋯ } B o o s t i n g 族 个体学习器间存在强依赖关系，必须串行生成的序列化方法 \left. \begin{cases} AdaBoost \\ GradientBoost\\ LPBoost\\ \cdots \end{cases} \right\} Boosting族 个体学习器间存在强依赖关系，必须串行生成的序列化方法⎩ ⎨ ⎧AdaBoostGradientBoostLPBoost⋯⎭ ⎬ ⎫Boosting族
个体学习器间不存在强依赖关系，可同时生成的并行化方法 { B a g g i n g 随机森林 R a n d o m F o r e s t R a n d o m s u b s p a c e ⋯ 个体学习器间不存在强依赖关系，可同时生成的并行化方法 \begin{cases} Bagging \\ 随机森林 Random&Forest\\ Random&subspace\\ \cdots \end{cases} 个体学习器间不存在强依赖关系，可同时生成的并行化方法⎩ ⎨ ⎧Bagging随机森林RandomRandom⋯Forestsubspace
三、Boosting
Boosting是一族可将弱学习器提升为强学习器的算法。
工作机制：
先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续收到更多的关注，然后基于调整后的训练样本分布来训练下一个基学习器，如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行 加权结合。
Boosting算法要求基学习器能对特定的数据分布进行学习，可通过"重赋权法"实施，即在训练过程的每一轮中，根据样本分布为每个训练样本重新赋予一个权重，对无法接受带权样本的基学习算法，则可通过"重采样法"来处理，即在每一轮学习中，根据样本分布对训练集重新进行采样，再用重采样得到的样本集对基学习器进行训练。
Boosting主要关注降低偏差。
四、Bagging
Bagging是并行式集成学习算法，主要是基于"自助采样法"。
给定包含m个样本的数据集，先随机取出一个放入采样集中，再把该样本放回初始数据集，使得下次采样时该样本仍有可能被选中，这样，经过m个随机操作，得到包含m个样本的采样集，初始训练集中约有63.2%的样本出现在采样集中。