Spark MLlib随机梯度下降法概述与实例
机器学习算法中回归算法有很多，例如神经网络回归算法、蚁群回归算法，支持向量机回归算法等，其中也包括本篇文章要讲述的梯度下降算法，本篇文章将主要讲解其基本原理以及基于Spark MLlib进行实例示范，不足之处请多多指教。
梯度下降算法包含多种不同的算法，有批量梯度算法，随机梯度算法，折中梯度算法等等。对于随机梯度下降算法而言，它通过不停的判断和选择当前目标下最优的路径，从而能够在最短路径下达到最优的结果。我们可以在一个人下山坡为例，想要更快的到达山低，最简单的办法就是在当前位置沿着最陡峭的方向下山，到另一个位置后接着上面的方式依旧寻找最陡峭的方向走，这样每走一步就停下来观察最下路线的方法就是随机梯度下降算法的本质。
随机梯度下降算法理论基础
在线性回归中，我们给出回归方程，如下所示：
我们知道，对于最小二乘法要想求得最优变量就要使得计算值与实际值的偏差的平方最小。而随机梯度下降算法对于系数需要通过不断的求偏导求解出当前位置下最优化的数据，那么梯度方向公式推导如下公式，公式中的θ会向着梯度下降最快的方向减少，从而推断出θ的最优解。
因此随机梯度下降法的公式归结为通过迭代计算特征值从而求出最合适的值。θ的求解公式如下。
α是下降系数，即步长，学习率，通俗的说就是计算每次下降的幅度的大小，系数越大每次计算的差值越大，系数越小则差值越小，但是迭代计算的时间也会相对延长。θ的初值可以随机赋值，比如下面的例子中初值赋值为0。
Spark MLlib随机梯度下降算法实例
下面使用Spark MLlib来迭代计算回归方程y=2x的θ最优解，代码如下：
package cn.just.shinelon.MLlib.Algorithm
import java.util
import scala.collection.immutable.HashMap
/**
* 随机梯度下降算法实战
* 随机梯度下降算法：最短路径下达到最优结果
* 数学表达公式如下：
* f(θ)=θ0x0+θ1x1+θ2x2+...+θnxn
* 对于系数要通过不停地求解出当前位置下最优化的数据，即不停对系数θ求偏导数
* 则θ求解的公式如下：
* θ=θ-α(f(θ)-yi)xi
* 公式中α是下降系数，即每次下降的幅度大小，系数越大则差值越小，系数越小则差值越小，但是计算时间也相对延长
*/
object SGD {
var data=HashMap[Int,Int]() //创建数据集
def getdata():HashMap[Int,Int]={
for(i <- 1 to 50){ //创建50个数据集
data += (i->(2*i)) //写入公式y=2x
}
data //返回数据集
}
var θ:Double=0 //第一步 假设θ为0
var α:Double=0.1 //设置步进系数
def sgd(x:Double,y:Double)={ //随机梯度下降迭代公式
θ=θ-α*((θ*x)-y) //迭代公式
}
def main(args: Array[String]): Unit = {
val dataSource=getdata() //获取数据集
dataSource.foreach(myMap=>{ //开始迭代
sgd(myMap._1,myMap._2) //输入数据
})
println("最终结果值θ为："+θ)
}
}
需要注意的是随着步长系数增大以及数据量的增大，θ值偏差越来越大。同时这里也遗留下一个问题，当数据量大到一定程度，为什么θ值会为NaN，笔者心中有所疑惑，如果哪位大佬有想法可以留言探讨，谢谢！
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
SpringBoot基于SpringSecurity表单登录和权限验证的示例
这篇文章主要介绍了SpringBoot基于SpringSecurity表单登录和权限验证的示例。文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-09-09
下面小编就为大家带来一篇老生常谈Java字符串进阶(必看篇)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-06-06
Spring Cloud Gateway Hystrix fallback获取异常信息的处理
这篇文章主要介绍了Spring Cloud Gateway Hystrix fallback获取异常信息的处理方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-07-07
使用AbstractRoutingDataSource实现数据源动态切换的实例
AbstractRoutingDataSource 是 Spring 框架提供的一个抽象类,用于实现动态数据源路由,这个类主要用于多数据源场景,其中可以根据不同的条件动态地切换到不同的数据源,本文给大家介绍了如何使用AbstractRoutingDataSource实现数据源动态切换,需要的朋友可以参考下2024-03-03
SpringBoot整合RabbitMQ实现交换机与队列的绑定
这篇文章将通过几个实例为大家介绍一些SpringBoot中RabbitMQ如何绑定交换机（交换器）与队列，文中的示例代码讲解详细，感兴趣的可以了解一下2022-05-05
这篇文章主要介绍了mybatis中mapper-locations的具体作用，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-06-06
这篇文章主要介绍了Java模拟单链表和双端链表数据结构的实例,注意这里的双端链表不是双向链表,是在单链表的基础上保存有对最后一个链接点的引用,需要的朋友可以参考下2016-04-04
这篇文章主要介绍了springBoot接入阿里云oss的实现步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-01-01
javacv-ffmpeg ProcessBuilder批量旋转图片方式
为了批量处理大量图片的旋转,可以使用javacv-ffmpeg结合ProcessBuilder,首先在maven配置文件中添加ffmpeg及javacpp依赖,javacpp支持调用C/C++方法,而ffmpeg基于C语言,使用ProcessBuilder创建进程调用ffmpeg方法2024-09-09
这篇文章主要介绍了intellij idea配置外部dtd文件的方法,非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下2018-09-09
最新评论