pyspark 随机森林的实现
随机森林是由许多决策树构成,是一种有监督机器学习方法,可以用于分类和回归,通过合并汇总来自个体决策树的结果来进行预测,采用多数选票作为分类结果,采用预测结果平均值作为回归结果。
“森林”的概念很好理解,“随机”是针对森林中的每一颗决策树,有两种含义:第一种随机是数据采样随机,构建决策树的训练数据集通过有放回的随机采样,并且只会选择一定百分比的样本,这样可以在数据集合存在噪声点、异常点的情况下,有些决策树的构造过程中不会选择到这些噪声点、异常点从而达到一定的泛化作用在一定程度上抑制过拟合;第二种随机是特征随机,训练集会包含一系列特征,随机选择一部分特征进行决策树的构建。通过这些差异点来训练的每一颗决策树都会学习输入与输出的关系,随机森林的强大之处也就在于此。
废话不多说,直接上代码:
from pyspark import SparkConf from pyspark.sql import SparkSession from pyspark.ml.linalg import Vectors from pyspark.ml.feature import StringIndexer from pyspark.ml.classification import RandomForestClassifier from pyspark.sql import Row import pandas as pd from sklearn import metrics if __name__ == "__main__": appname = "RandomForestClassifier" master ="local[4]" conf = SparkConf().setAppName(appname).setMaster(master) #spark配置 spark=SparkSession.builder.config(conf=conf).getOrCreate()#spark实例化 #读取数据 data=spark.read.csv('良恶性乳腺癌数据.csv',header=True) #构造训练数据集 dataSet = data.na.fill('0').rdd.map(list)#用0填充空值 trainData, testData= dataSet.randomSplit([0.7, 0.3], seed=7) trainingSet = trainData.map(lambda x:Row(label=x[-1], features=Vectors.dense(x[:-1]))).toDF() train_num = trainingSet.count() print("训练样本数:{}".format(train_num)) #使用随机森林进行训练 stringIndexer = StringIndexer(inputCol="label", outputCol="indexed") si_model = stringIndexer.fit(trainingSet) train_tf = si_model.transform(trainingSet) train_tf.show(5) rf = RandomForestClassifier(numTrees=100, labelCol="indexed", seed=7) rfModel = rf.fit(train_tf) #输出模型特征重要性、子树权重 print("模型特征重要性:{}".format(rfModel.featureImportances)) print("模型特征数:{}".format(rfModel.numFeatures)) #预测测试集 testSet = testData.map(lambda x:Row(label=x[-1], features=Vectors.dense(x[:-1]))).toDF() test_num=testSet.count() print("测试样本数:{}".format(test_num)) si_model = stringIndexer.fit(testSet) test_tf = si_model.transform(testSet) predictResult = rfModel.transform(test_tf) predictResult.show(5) spark.stop() #将预测结果转为python中的dataframe columns=predictResult.columns#提取强表字段 predictResult=predictResult.take(test_num)# predictResult=pd.DataFrame(predictResult,columns=columns)#转为python中的dataframe #性能评估 y=list(predictResult['indexed']) y_pred=list(predictResult['prediction']) y_predprob=[x[1] for x in list(predictResult['probability'])] precision_score=metrics.precision_score(y, y_pred)#精确率 recall_score=metrics.recall_score(y, y_pred)#召回率 accuracy_score=metrics.accuracy_score(y, y_pred)#准确率 f1_score=metrics.f1_score(y, y_pred)#F1分数 auc_score=metrics.roc_auc_score(y, y_predprob)#auc分数 print("精确率:",precision_score )#精确率 print("召回率:",recall_score )#召回率 print("准确率:",accuracy_score )#准确率 print("F1分数:", f1_score)#F1分数 print("auc分数:",auc_score )#auc分数
运行结果:
到此这篇关于pyspark 随机森林的实现的文章就介绍到这了,更多相关pyspark 随机森林内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
相关文章
Python编程tkinter库Canvas实现涂鸦颜色表及围棋盘示例
这篇文章主要为大家介绍了Python编程中如何使用tkinter库Canvas来实现涂鸦,颜色表及围棋盘的示例,有需要的朋友可以借鉴参考下,希望能够有所帮助2021-10-10Python使用爬虫抓取美女图片并保存到本地的方法【测试可用】
这篇文章主要介绍了Python使用爬虫抓取美女图片并保存到本地的方法,涉及Python基于正则、爬虫实现的图片抓取与保存相关操作技巧,需要的朋友可以参考下2018-08-08解决Django no such table: django_session的问题
这篇文章主要介绍了解决Django no such table: django_session的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
最新评论