Spark MLlib随机梯度下降法概述与实例
机器学习算法中回归算法有很多，例如神经网络回归算法、蚁群回归算法，支持向量机回归算法等，其中也包括本篇文章要讲述的梯度下降算法，本篇文章将主要讲解其基本原理以及基于Spark MLlib进行实例示范，不足之处请多多指教。
梯度下降算法包含多种不同的算法，有批量梯度算法，随机梯度算法，折中梯度算法等等。对于随机梯度下降算法而言，它通过不停的判断和选择当前目标下最优的路径，从而能够在最短路径下达到最优的结果。我们可以在一个人下山坡为例，想要更快的到达山低，最简单的办法就是在当前位置沿着最陡峭的方向下山，到另一个位置后接着上面的方式依旧寻找最陡峭的方向走，这样每走一步就停下来观察最下路线的方法就是随机梯度下降算法的本质。
随机梯度下降算法理论基础
在线性回归中，我们给出回归方程，如下所示：
我们知道，对于最小二乘法要想求得最优变量就要使得计算值与实际值的偏差的平方最小。而随机梯度下降算法对于系数需要通过不断的求偏导求解出当前位置下最优化的数据，那么梯度方向公式推导如下公式，公式中的θ会向着梯度下降最快的方向减少，从而推断出θ的最优解。
因此随机梯度下降法的公式归结为通过迭代计算特征值从而求出最合适的值。θ的求解公式如下。
α是下降系数，即步长，学习率，通俗的说就是计算每次下降的幅度的大小，系数越大每次计算的差值越大，系数越小则差值越小，但是迭代计算的时间也会相对延长。θ的初值可以随机赋值，比如下面的例子中初值赋值为0。
Spark MLlib随机梯度下降算法实例
下面使用Spark MLlib来迭代计算回归方程y=2x的θ最优解，代码如下：
package cn.just.shinelon.MLlib.Algorithm
import java.util
import scala.collection.immutable.HashMap
/**
* 随机梯度下降算法实战
* 随机梯度下降算法：最短路径下达到最优结果
* 数学表达公式如下：
* f(θ)=θ0x0+θ1x1+θ2x2+...+θnxn
* 对于系数要通过不停地求解出当前位置下最优化的数据，即不停对系数θ求偏导数
* 则θ求解的公式如下：
* θ=θ-α(f(θ)-yi)xi
* 公式中α是下降系数，即每次下降的幅度大小，系数越大则差值越小，系数越小则差值越小，但是计算时间也相对延长
*/
object SGD {
var data=HashMap[Int,Int]() //创建数据集
def getdata():HashMap[Int,Int]={
for(i <- 1 to 50){ //创建50个数据集
data += (i->(2*i)) //写入公式y=2x
}
data //返回数据集
}
var θ:Double=0 //第一步 假设θ为0
var α:Double=0.1 //设置步进系数
def sgd(x:Double,y:Double)={ //随机梯度下降迭代公式
θ=θ-α*((θ*x)-y) //迭代公式
}
def main(args: Array[String]): Unit = {
val dataSource=getdata() //获取数据集
dataSource.foreach(myMap=>{ //开始迭代
sgd(myMap._1,myMap._2) //输入数据
})
println("最终结果值θ为："+θ)
}
}
需要注意的是随着步长系数增大以及数据量的增大，θ值偏差越来越大。同时这里也遗留下一个问题，当数据量大到一定程度，为什么θ值会为NaN，笔者心中有所疑惑，如果哪位大佬有想法可以留言探讨，谢谢！
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家详细介绍了springMVC实现文件上传和下载的方法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-05-05
这篇文章主要介绍了详解Spring Kafka中关于Kafka的配置参数,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-08-08
Springboot自动配置与@Configuration配置类详解
这篇文章主要介绍了SpringBoot中的@Configuration与自动配置，在进行项目编写前，我们还需要知道一个东西，就是SpringBoot对我们的SpringMVC还做了哪些配置，包括如何扩展，如何定制，只有把这些都搞清楚了，我们在之后使用才会更加得心应手2022-07-07
这篇文章主要介绍了java加密MD5实现及密码验证代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
这篇文章主要介绍了Scala和Java方法的相互调用，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-11-11
这篇文章主要为大家介绍了Java数据结构和算法之二叉树，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-01-01
本文主要介绍了Mybatis逆向工程实现连接MySQL数据库，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-06-06
java中的this随处可见，用法也多。通常情况下理解this关键字还是很容易的，但是在我初学的时候，有一个疑问却一直不能很清晰的理解，现在慢慢的理解了，下面通过本文给大家记录下，有需要的朋友参考下2017-03-03
这篇文章主要为大家介绍了一个Java项目实战，一步步教你实现记事本，步骤很详细，运用SWT插件手把手编写记事本，感兴趣的小伙伴们可以参考一下2016-01-01
这篇文章主要介绍了SpringBoot加载应用事件监听器代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
最新评论