Ensemble

模型融合方法

模型融合是提升机器学习模型性能的重要技术之一。主要方法包括Bagging、Boosting和Stacking，每种方法都有其独特的策略和优势。

Bagging

• 定义：Bagging，即Bootstrap Aggregating的缩写，是一种通过对原始数据集进行多次重采样，构建多个分类器，然后通过投票或平均的方式汇总预测结果以减少方差的方法。
• 例子：最著名的例子是Random Forest，它通过构建多个决策树并进行多数投票来获得最终预测。

Boosting

• 定义：Boosting方法通过逐步调整数据集中样本的权重，关注被前一个模型错误预测的样本，逐渐提升模型的准确性。
• 例子：Gradient Boosting Machine（GBM）和XGBoost是Boosting方法中非常流行的两种实现，它们通过加权求和的方式来减少模型的偏差。

Stacking

• 定义：Stacking是一种集成多个不同模型的预测结果，并使用一个元学习器（meta-learner）来进行最终预测的方法。这种方法可以通过不同模型的学习结果捕获更多的信息，从而提高预测的准确性。
• 策略：在Stacking中，可以采用不同的投票策略，甚至设计更复杂的元学习器，以获得最佳的融合效果。