python梯度下降法的简单示例
梯度下降法的原理和公式这里不讲，就是一个直观的、易于理解的简单例子。
1.最简单的情况，样本只有一个变量，即简单的（x，y）。多变量的则可为使用体重或身高判断男女（这是假设，并不严谨），则变量有两个，一个是体重，一个是身高，则可表示为(x1,x2,y),即一个目标值有两个属性。
2.单个变量的情况最简单的就是，函数hk(x)=k*x这条直线(注意：这里k也是变化的，我们的目的就是求一个最优的 k)。而深度学习中，我们是不知道函数的，也就是不知道上述的k。 这里讨论单变量的情况：
在不知道k的情况下，我们是通过样本(x1,y1),(x2,y2)，(xn,yn)来获取k。获取的k的好坏则有损失函数来衡量。
损失函数：就是你预测的值和真实值的差异大小（比如一个样本（1，1）他的真实值是1，而你预测的是0.5，则差异 比较大，如果你预测值为0.9999，则差异就比较小了）。
损失函数为定义如下（此处为单变量的情况）
目的是求使损失函数最小的变量k（注意和变量x区分），则将损失函数对k求导（多变量时为求偏导得梯度，这里单变量求导，其实不算梯度），求偏导如下：
然后迭代，迭代时有个步长alpha,(深度学习中貌似叫学习率)
3.例子
假如我们得到样本(1,1),(2,2),(3,3).其实，由这三个样本可以得到函数为y = 1*x。此时损失函数为0.而机器是不知道的，所以我们需要训练。
下面是一段python代码。
import numpy as np import matplotlib.pyplot as plt x=np.arange(-5, 5, 0.001) y=(((x-1)*(x-1)+(x*2-2)*(x*2-2)+(x*3-3)*(x*3-3))*1/6.0) plt.plot(x,y) #plt.show() #显示图形 def sum(x): return ((x*1-1)*1+(x*2-2)*2+(x*3-3)*3) def fun(x): return ((1/3.0)*sum(x)) old = 0 new = 5 step = 0.01 pre = 0.00000001 def src_fun(x): print(((x-1)*(x-1)+(x*2-2)*(x*2-2)+(x*3-3)*(x*3-3))*1/6.0) while abs(new-old)>pre: old = new #src_fun(old) #输出每次迭代的损失值 new = new - step*fun(old) print(new) print(src_fun(new))
下图是损失函数的图像，损失函数中变量是k。下图横坐标为k的不同取值，纵轴为对应的损失大小。由下图可以大致看出，当k为1时，损失函数值为0。注意：这里取的最优值k=1是在我们已有样本的情况下得出的,样本不同，k值自然不同。
下面是print(new)和print(src_fun(new))的输出结果
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
在处理文本数据时,字符编码问题是一个常见的挑战,如果编码不正确,可能会导致乱码问题,而 Chardet 是 Python 中非常实用的一个库,可以帮助我们快速检测文件或字符串的编码格式,本文给大家详细介绍了Python Chardet 库用法,需要的朋友可以参考下2025-01-01
eval(str)函数很强大,官方解释为将字符串str当成有效的表达式来求值并返回计算结果,下面这篇文章主要给大家介绍了关于Python eval() 函数的相关资料,需要的朋友可以参考下2022-01-01
Python遵循面向对象的编程范式。它处理声明python类，从它们创建对象并与用户交互。在面向对象的语言中，程序被分成独立的对象，或者你可以说成几个小程序。每个对象代表应用程序的不同部分，它们可以相互通信。类是对客观世界中事物得抽象，而对象是类实例化后的实体2021-06-06
Python人脸识别第三方库face_recognition接口说明文档
Python人脸识别第三方库face_recognition接口简单说明，及简单使用方法2019-05-05
python翻译软件实现代码(使用google api完成)
这篇文章主要介绍了python结合google api完成的翻译软件实现代码，大家参考使用2013-11-11
这篇文章主要介绍了解决Windows下python和pip命令无法使用的问题，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-08-08
这篇文章主要介绍了Python 实现平台类游戏添加跳跃功能,，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-03-03
Python3实现爬取指定百度贴吧页面并保存页面数据生成本地文档的方法
这篇文章主要介绍了Python3实现爬取指定百度贴吧页面并保存页面数据生成本地文档的方法,涉及Python基于urllib模块的页面爬取与文件读写相关操作技巧,需要的朋友可以参考下2018-04-04
Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。本文主要介绍了利用Selenium实现自动观看学习通视频，需要的同学可以参考一下2021-12-12
只有你想不到，没有我找不到写不了的好游戏！这篇文章就来和大家分享一下如何基于Python+Pygame实现变异狗大战游戏，感兴趣的可以了解一下2023-03-03
最新评论