模型组合

如果我们已经训练好了多个模型，并且希望通过已有的这些模型组合成一个更强的模型，那么我们可能会有以下选择：

• 将模型应用在验证集上，选择表现最好的
• 多个模型投票或者取均值
• 多个模型做加权平均

可以看到这些都是我们做模型组合的一些思路，所谓模型组合即组合多个模型以获得更好的效果，使组合的模型具有更强的泛化能力。这里所说更强的泛化能力在机器学习无非两种即降低Bias或降低Variance。Bias度量了某种学习算法的平均估计结果所能逼近学习目标(目标输出)的程度，即Bias越低，模型的误差越低；Variance则度量了模型对于不同的数据集模型估计结果发生变动的程度，可以理解为模型稳定性的一个度量方式，Variance越低说明模型越健壮，越稳定，反之说明模型不稳定，对于不同的数据集表现差别很大，也就是很有可能发生过拟合了，所以说一个好的模型不仅要有很低的误差(Bias),还需要对不同的数据集表现稳定（低的Variance）。下面我们去看看两种降低Bias和Variance的方法。

Bagging

Bagging全名Boostrap Aggregration，在这里并不是书包的意思，其中Bootstrap是一种有放回的抽样方法，其抽样策略就是简单随机抽样。Bagging的思路就是**让学习算法训练多轮，每轮的训练集由从初始的训练集中随机取出的n个训练样本组成，初始训练例在某轮训练集中可以出现多次或根本不出现训练之后可得到一个预测函数序列h1,h2 ⋯ ⋯ hn 最终的预测函数H对分类问题采用投票方式，对回归问题采用简单平均方法对新示例进行判别。这种方法可以说是再简单不过了，但是在应用中却往往特别高效，基于Bagging思想的随机森林模型一直都是公认泛化能力很强的分类器之一。

Boosting

Boosting顾名思义，提升方法，将多个弱学习模型提升为强学习模型。初始化时对每一个训练例赋相等的权重1／n，然后用该学算法对训练集训练t轮，每次训练后，对训练失败的训练例赋以较大的权重，也就是让学习算法在后续的学习中集中对比较难的训练铡进行学习，从而得到一个预测函数序列h1,h2 ⋯ ⋯ hn其中每一个hi都有一定的权重，预测效果好的预测函数权重较大，反之较小。最终的预测函数H对分类问题采用有权重的投票方式，对回归问题采用加权平均的方法对新示例进行判别。基于Boosting的方法主要有Adaboost和梯度提升决策树(Gradient Boosted Decision Tree, GBDT)。

Bagging和Boosting的对比

从Bagging和Boosting的定义中很容易看到，Bagging的特点在于其抽样的随机化，每一轮的训练是独立的。而Boosting每一轮训练取决于其上一轮的结果，每一轮的训练是相互关联的，因此Bagging很容易实现并行化而Boosting却无法做到并行化。另外Bagging采用的是投票机制，Boosting采用的是加权方式。Boosting通过反复迭代将弱学习模型提升为强学习模型，因此通过Boosting方法可以降低模型的Bias；而Bagging通过反复的抽样训练新的模型，实际上是对已有强学习模型取平均，并不能起到降低Bias的效果，而是使得模型稳定性加强，降低了Variance。因此基于Bagging和Boosting的方法都可以起到增加模型泛化能力的作用。

相对熵

相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。 典型情况下，P表示数据的真实分布，Q表示数据的理论分布，模型分布，或P的近似分布。期望信息越小，信息增益越大，从而纯度越高。

决策树

决策树学习采用的是自顶向下的递归方法, 其基本思想是以信息熵为度量构造一棵熵值下降最快的树,到叶子节点处的熵值为零, 此时每个叶节点中的实例都属于同一类。

最大优点: 可以自学习。在学习的过程中,不需要使用者了解过多背景知识,只需要对训练实例进行较好的标注,就能够进行学习，属于监督学习。

三种生成算法

• ID3 — 信息增益最大的准则
• C4.5 — 信息增益比最大的准则
• CART
  • 回归树: 平方误差最小的准则
  • 分类树: 基尼系数最小的准则

决策树的优缺点

• 优点: 决策树在训练集上容易获得较好的分类能力
• 缺点: 但对未知的测试数据未必有好的分类能力,泛化能力弱,即可能发生过拟合现象。
  • 剪枝
  • 随机森林

随机森林

随机森林能够解决决策树的过拟合问题。随机森林用训练集生成多个(非常深的)决策树。在预测时, 每个树的都会预测一个结果, 每个结果加权表决, 来避免过拟合。 例如, 如果你训练了3个树, 其中有2个树的结果是A, 1个数的结果是B, 那么最终结果会是A。

Random Forest classifiers work around that limitation by creating a whole bunch of decision trees (hence “forest”) — each trained on random subsets of training samples (drawn with replacement) and features (drawn without replacement) — and have the decision trees work together to make a more accurate classification.

使用 scikit-learn

scikit-learn 决策树算法类库内部实现是使用了调优过的 CART 树算法，既可以做分类，又可以做回归。分类决策树的类对应的是 DecisionTreeClassifier，而回归决策树的类对应的是 DecisionTreeRegressor。两者的参数定义几乎完全相同，但是意义不全相同。下面就对 DecisionTreeClassifier 和 DecisionTreeRegressor 的重要参数做一个总结，重点比较两者参数使用的不同点和调参的注意点。

除了这些参数要注意以外，其他在调参时的注意点有：

1. 当样本少数量但是样本特征非常多的时候，决策树很容易过拟合，一般来说，样本数比特征数多一些会比较容易建立健壮的模型

2. 如果样本数量少但是样本特征非常多，在拟合决策树模型前，推荐先做维度规约，比如主成分分析（PCA），特征选择（Losso）或者独立成分分析（ICA）。这样特征的维度会大大减小。再来拟合决策树模型效果会好。

3. 推荐多用决策树的可视化，同时先限制决策树的深度（比如最多 3 层），这样可以先观察下生成的决策树里数据的初步拟合情况，然后再决定是否要增加深度。

4. 在训练模型时，注意观察样本的类别情况（主要指分类树），如果类别分布非常不均匀，就要考虑用 class_weight 来限制模型过于偏向样本多的类别。

5. 决策树的数组使用的是 numpy 的 float32 类型，如果训练数据不是这样的格式，算法会先做 copy 再运行。

6. 如果输入的样本矩阵是稀疏的，推荐在拟合前调用csc_matrix稀疏化，在预测前调用csr_matrix稀疏化。

部分代码：

decision_trees

random_forest

参考

• 模型组合基本方法简介
• 信息增益
• 随机森林与决策树
• scikit-learn 决策树算法类库使用小结
• Decision Trees

Original link：https://izhangzhihao.github.io//2017/12/03/Ensemble-Learning/