Python sklearn分类决策树方法详解
决策树模型
决策树（decision tree）是一种基本的分类与回归方法。
分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。结点有两种类型：内部结点（internal node）和叶结点（leaf node）。内部结点表示一个特征或属性，叶结点表示一个类。
用决策树分类，从根结点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子结点；这时，每一个子结点对应着该特征的一个取值。如此递归地对实例进行测试并分配，直至达到叶结点。最后将实例分到叶结点的类中。
用于预测一个人是否肥胖或不肥胖的决策树
决策树学习
决策树学习算法包括3部分：特征选择、树的生成和树的剪枝。常用的算法有ID3、 C4.5和CART。
1、特征选择的目的在于选取对训练数据能够分类的特征。特征选择的关键是其准则。常用的准则如下：
（1）样本集合D对特征A的信息增益（ID3）
（2）样本集合D对特征A的信息增益比（C4.5）
（3）样本集合D的基尼指数（CART）
2．决策树的生成。通常使用信息增益最大、信息增益比最大或基尼指数最小作为特征选择的准则。决策树的生成往往通过计算信息增益或其他指标，从根结点开始，递归地产生决策树。这相当于用信息增益或其他准则不断地选取局部最优的特征，或将训练集分割为能够基本正确分类的子集。
3．决策树的剪枝。由于生成的决策树存在过拟合问题，需要对它进行剪枝，以简化学到的决策树。决策树的剪枝，往往从已生成的树上剪掉一些叶结点或叶结点以上的子树，并将其父结点或根结点作为新的叶结点，从而简化生成的决策树。
使用Scikit-learn进行决策树分类
import numpy as np
from sklearn.datasets import load_iris
from sklearn import tree
import matplotlib.pyplot as plt
iris=load_iris()
print(iris.feature_names)
print(iris.target_names)
#划分数据集
removed =[0,50,100]
new_target = np.delete(iris.target,removed)
new_data = np.delete(iris.data,removed, axis=0)
#训练分类器
clf = tree.DecisionTreeClassifier() # 定义决策树分类器
clf=clf.fit(new_data,new_target)
prediction = clf.predict(iris.data[removed])
print("Original Labels",iris.target[removed])
print("Labels Predicted",prediction)
#绘制决策树
plt.figure(figsize=(15, 10))
tree.plot_tree(clf, feature_names=iris.feature_names, filled=True)
plt.show()
参考链接传送门
到此这篇关于Python sklearn分类决策树方法详解的文章就介绍到这了,更多相关Python sklearn决策树内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了python selenium反检测问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-09-09
有些时候在项目中，使用配置文件来配置一些灵活的参数是比较常见的事，因为这会使得代码的维护变得更方便，而ini配置文件是比较常用的一种，今天介绍用ConfigParser模块来解析ini配置文件，感兴趣的朋友一起看看吧2023-01-01
这篇文章主要介绍了Python常见排序操作,结合实例形式总结分析了Python针对字典、列表及指定元素等常见排序操作实现技巧,需要的朋友可以参考下2018-08-08
今天小编就为大家分享一篇python 实现返回一个列表中出现次数最多的元素方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
这篇文章主要介绍了python 如何实现围棋游戏，帮助大家利用tkinter制作图形界面程序，感兴趣的朋友可以了解下2020-11-11
在使用 Python 进行窗口操作时,可以执行各种任务,如最大化、最小化、置顶窗口,本文将详细介绍这些操作,并提供丰富的示例代码,希望可以更好地帮助大家了解如何利用 Python 操纵窗口2023-11-11
这篇文章主要为大家详细介绍了python随机数分布random的测试，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-08-08
这篇文章主要介绍了ptyhon实现sitemap生成示例,需要的朋友可以参考下2014-03-03
Python的Django应用程序解决AJAX跨域访问问题的方法
针对Django中在编写供AJAX调用的API时碰到的跨域问题,我们来总结下Python的Django应用程序解决AJAX跨域访问问题的方法,其中使用GitHub上开源分享的django-cors-headers尤其推荐2016-05-05
在作图的过程中，我们经常会遇到子图共用坐标轴的情况，或是共用横轴标轴，也可能是纵坐标轴。本文就介绍了matplotlib共享坐标轴，感兴趣的可以了解一下2021-05-05
最新评论