Python实现随机森林算法的示例代码

在数据挖掘的过程中，我们经常会遇到一些问题，比如：如何选择各种分类器，到底选择哪个分类算法，是SVM、决策树、还是KNN？如何优化分类器的参数，以便得到更好的分类准确率？

随机森林分类器

随机森林的英文是 Random Forest，英文简写是 RF。它是一个包含多个决策树的分类器，每一个子分类器都是一棵 CART 分类回归树。所以随机森林既可以做分类，又可以做回归。

• 当它做分类的时候，输出结果是每个子分类器的分类结果中最多的那个。可以理解是每个分类器都做投票，取投票最多的那个结果。
• 当它做回归的时候，输出结果是每棵 CART 树的回归结果的平均值。

在 sklearn 中，我们使用 RandomForestClassifier() 构造随机森林模型，函数里有一些常用的构造参数：

• n_estimators: 随机森林里决策树的个数，默认是10
• criterion：决策树分裂的标准，默认是基尼指数（CART算法），也可以选择entropy（ID3算法）
• max_depth: 决策树的最大深度，默认是None, 不限制
• n_jobs：拟合和预测的时候CPU的核数，默认是1

GridSearchCV 对模型参数进行调优

分类算法，我们经常需要调节网络参数（对应上面的构造参数），目的是得到更好的分类结果。实际上一个分类算法有很多参数，取值范围也比较广，那么该如何调优呢？

Python 给我们提供了一个很好用的工具 GridSearchCV，它是Python的参数自动搜索模块，能够自动决策最优参数。

我们使用 GridSearchCV(estimator, param_grid, cv=None, scoring=None) 构造参数的自动搜索模块，这里有一些主要的参数需要说明：

• estimator：代表采用的分类器，如随机森林、决策树、SVM、KNN等
• param_grid： 代表想要优化的参数及取值
• cv： 交叉验证的折数，默认是None, 代表使用三折交叉验证
• scoring：准确度的评价标准，默认是None， 也就是需要使用score函数

举例，我们使用sklearn自带的IRIS数据集，采用随机森林对IRIS数据分类。如果我们想知道n_estimators在1-10的范围内取哪个值的分类结果最好，可以编写代码如下：

# -*- coding: utf-8 -*-
# 使用RandomForest对IRIS数据集进行分类
# 利用GridSearchCV寻找最优参数

from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV

rf = RandomForestClassifier()
parameters = {"n_estimators": range(1, 11)}
iris = load_iris()

# 使用GridSearchCV进行参数调优
clf = GridSearchCV(estimator=rf, param_grid=parameters)

# 对iris数据集进行分类
clf.fit(iris.data, iris.target)

print("最优分数： %.4lf" % clf.best_score_)
print("最优参数：", clf.best_params_)

运行结果：

最优分数： 0.9600
最优参数： {'n_estimators': 3}

使用 Pipeline 进行流水线作业

在进行数据分类的时候往往都是有多个步骤的，比如先对数据进行规范化处理，也可以用PCA对数据降维，最后再使用分类器进行分类。

Python有一种Pipeline管道机制。管道机制就是让我们把每一步都按顺序列下来，从而创建Pipeline流水线作业。每一步都采用（‘名称’，步骤）的方式来表示。

那么我们现在采用Pipeline管道机制，用随机森林对IRIS数据集做一下分类。先用StandardScaler方法对数据规范化，即采用数据规范化为均值为0，方差为1的正态分布，然后采用PCA方法对数据进行降维，最后采用随机森林进行分类，编写代码如下：

from sklearn.datasets import load_iris
from sklearn.decomposition import PCA
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

rf = RandomForestClassifier()
parameters = {"randomforestclassifier__n_estimators": range(1, 11)}
iris = load_iris()
pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('pca', PCA()),
    ('randomforestclassifier', rf)
])

clf = GridSearchCV(estimator=pipeline, param_grid=parameters)
clf.fit(iris.data, iris.target)
print("最优分数： %.4lf" % clf.best_score_)
print("最优参数：", clf.best_params_)

运行结果如下：

最优分数： 0.9600
最优参数： {'randomforestclassifier__n_estimators': 9}

到此这篇关于Python实现随机森林算法的示例代码的文章就介绍到这了,更多相关Python随机森林算法内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

最新评论