Pyspark 线性回归梯度下降交叉验证知识点详解
我正在尝试在 pyspark 中的 SGD 模型上执行交叉验证，我正在使用pyspark.mllib.regression，ParamGridBuilder和CrossValidator都来自pyspark.ml.tuning库的LinearRegressionWithSGD。
在 Spark 网站上跟踪文件资料之后，我希望运行此方法可以正常工作
资料参考：https://spark.apache.org/docs/2.1.0/ml-tuning.html
lr = LinearRegressionWithSGD()
pipeline=Pipeline(stages=[lr])
paramGrid = ParamGridBuilder()\
.addGrid(lr.stepSize, Array(0.1, 0.01))\
.build()
crossval = CrossValidator(estimator=pipeline,estimatorParamMaps= paramGrid,
evaluator=RegressionEvaluator(),
numFolds=10)
但是LinearRegressionWithSGD()没有属性stepSize(也没有运气尝试过其他人)。
我可以将 lr 设置为LinearRegression，但是我无法在模型中使用 SGD 并进行交叉验证。
斯卡拉中有kFold方法，但我不确定如何从 pyspark 访问该方法
解决方案
您可以使用LinearRegressionWithSGD中的step参数来定义步长，但由于您正在混合不兼容的库，因此这将使代码无法正常工作。不幸的是，我不知道如何使用SGD优化对ml库进行交叉验证，我想知道自己，但是您正在混合使用pyspark.ml和pyspark.mllib库。具体来说，您不能将LinearRegressionWithSGD与pyspark.ml库一起使用。您必须使用pyspark.ml.regression.LinearRegression。
好消息是您可以将pyspark.ml.regression.LinearRegression的setsolver属性设置为使用'gd'。因此，您可能可以将'gd'优化器的参数设置为以SGD运行，但是我不确定求解器文档在哪里或如何设置求解器属性（例如批大小）。该api显示了调用Param（）的LinearRegression对象，但是我不确定它是否使用pyspark.mllib优化器。如果有人知道如何设置求解器属性，则可以通过允许您将Pipeline，ParamGridBuilder和CrossValidation ml软件包用于LinearRegression进行模型选择，并利用SGD优化进行参数调整来回答您的问题。
到此这篇关于Pyspark 线性回归梯度下降交叉验证知识点详解的文章就介绍到这了,更多相关Pyspark 线性回归梯度下降交叉验证内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
本篇文章主要介绍了详解Django 中是否使用时区的区别，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-06-06
这篇文章主要介绍了快速查找Python安装路径方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
这篇文章主要介绍了Python Matplotlib 库使用基本指南,通过本教程,我们学习了使用 Matplotlib 创建各种类型的图表和图形,Matplotlib 提供了丰富的函数和选项,以满足不同的数据可视化需求,需要的朋友可以参考下2024-01-01
这篇文章主要介绍了Python获取md5值(hashlib)常用方法，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2023-07-07
这篇文章主要介绍了Python实现分割文件及合并文件的方法,涉及Python针对文件的分割与合并操作相关技巧,通过自定义函数split与join实现了文件的分割与合并操作,需要的朋友可以参考下2015-07-07
这篇文章主要介绍了python join方法使用详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
这篇文章主要为大家详细介绍了python tornado微信开发入门代码，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-08-08
这篇文章主要介绍了简洁的十分钟Python入门教程,Python语言本身的简洁也使得网络上各种Python快门入门教程有着很高的人气,本文是国内此类其中的一篇,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了python 两个数据库postgresql对比,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-10-10
selenium中get_cookies()和add_cookie（）的用法详解
这篇文章主要介绍了selenium中get_cookies()和add_cookie（）的用法详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-01-01
最新评论