python模型集成知识点总结
说明
1、模型集成是指将一系列不同模型的预测结果集成在一起，从而获得更好的预测结果。
2、对于模型集成来说，模型的多样性非常重要。Diversityisstrength.用于集成的模型应尽可能好，同时应尽可能不同。
同一的网络，使用不同的随机初始化，多次独立训练，然后集成，意义不大。更好的方法是使用结构非常不同的模型进行集成，这样每个模型的偏差就会在不同的方向上相互抵消，结果就会更加稳定准确。
实例
可以用多种不同的方法来集成它们，最简单的办法是，取平均：
final_preds = 0.25 * (preds_a + preds_b + preds_c + preds_d)
由于每一个模型的性能会有差距，所以更好的办法是加权平均：
final_preds = 0.5 * preds_a + 0.25 * preds_b + 0.1 * preds_c + 0.15 * preds_d
知识点扩充：
当我们想在数据集上构建许多个模型，便可考虑使用集成的方法：
1. 挂袋法：并行进行，挂袋法集成中的每一个模型只使用训练集的一部分，它们的思路是减少对数据产生过度拟合，但前提是每个模型的差别不能太大，挂袋法对如线性回归之类的线性预测器无效。对于一些很稳定的模型，挂袋法的效果不明显，它适合那些对很小的改变也十分敏感的分类器，例如决策树，它很不稳定，未剪枝决策树就十分适合挂袋法。而KNN分类器则是一种很稳定的模型，不过我们可以使用随机子空间方法，为最近邻方法引入不稳定性。
2. 赋权重提升法：顺序进行，产生一个逐步复杂的模型序列，它按顺序基于前一个模型的错误训练新的模型，每次训练得到的模型被赋予一个权重，这个权重依据模型再给定数据的效果而定。最终的预测值产生时，这些权重值就是每个特定模型对于最终输出结果的影响力的判据。整体来说就是把错误率低的分类器赋予更大的权重。
3. 梯度提升法：由于赋权提升法使根据赋予错误实例更大的权重，然后是的下一个模型更可能选中这些错误分类的实例再次训练，而这也存在不足之处，这里梯度提升法采用梯度而不是权重来鉴别缺陷，基于调整残差（真实值y与预测值y'）来完善上一个模型的缺陷。
到此这篇关于python模型集成知识点总结的文章就介绍到这了,更多相关python模型集成是什么内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
Python是当今日趋流行的一种脚本语言，它比Java更简单，比php更强大，并且还适用于做桌面应用的开发，这篇文章主要介绍了Python基本语法,需要的朋友可以参考下2014-06-06
这篇文章主要介绍了Tornado高并发处理方法实例代码，具有一定借鉴价值,需要的朋友可以参考下2018-01-01
这篇文章主要介绍了Python @property装饰器的用法，在Python中，可以通过@property装饰器将一个方法转换为属性，从而实现用于计算的属性，下面文章围绕主题展开更多相关详情，感兴趣的小伙伴可以参考一下2023-01-01
当我们换新头像时，常常会遇到图片过暗导致看不到图片内容的情况，本文将介绍如何通过Python和OpenCV解决色彩图亮度不均衡的问题，需要的可以参考一下2021-12-12
Python字符串对齐、删除字符串不需要的内容以及格式化打印字符
这篇文章主要给大家介绍了关于Python字符串对齐、删除字符串不需要的内容以及格式化打印字符的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-01-01
Keras 数据增强ImageDataGenerator多输入多输出实例
这篇文章主要介绍了Keras 数据增强ImageDataGenerator多输入多输出实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-07-07
这篇文章主要介绍了使用python爬取taptap游戏截图的步骤，帮助大家更好的理解和学习使用python进行爬虫，感兴趣的朋友可以了解下2021-05-05
这篇文章主要介绍了ptyhon 随机森林算法及其优化详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
python如何实现wifi自动连接,解决电脑wifi经常断开问题
这篇文章主要介绍了python实现wifi自动连接,解决电脑wifi经常断开的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-06-06
这篇文章主要介绍了Python设计模式之工厂模式,简单说明了工厂模式的原理,并结合实例形式给出了Python实现工厂模式的具体操作技巧,需要的朋友可以参考下2018-01-01
最新评论