python实现BackPropagation算法

更新时间：2017年12月14日 10:51:40 作者：芳草碧连天lc

这篇文章主要为大家详细介绍了python实现BackPropagation算法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

实现神经网络的权重和偏置更新，很重要的一部就是使用BackPropagation（反向传播）算法。具体来说，反向传播算法就是用误差的反向传播来计算w（权重）和b（偏置）相对于目标函数的导数，这样就可以在原来的w，b的基础上减去偏导数来更新。其中我上次写的python实现梯度下降中有一个函数backprop(x,y)就是用来实现反向传播的算法。（注：代码并非自己总结，github上有这个代码的实现https://github.com/LCAIZJ/neural-networks-and-deep-learning）

def backprop(self,x,y):
  nabla_b = [np.zeros(b.shape) for b in self.biases]
  nabla_w = [np.zeros(w.shape) for w in self.weights]
  # 通过输入x，前向计算输出层的值
  activation = x
  activations = [x]# 存储的是所以的输出层
  zs = []
  for b,w in zip(self.biases,self.weights):
    z = np.dot(w,activation)+b
    zs.append(z)
    activation = sigmoid(z)
    activations.append(activation)
  # 计算输出层的error
  delta = self.cost_derivative(activations[-1],y)*sigmoid_prime(zs[:-1])
  nabla_b[-1] = delta
  nabla_w[-1] = np.dot(delta,activations[-2].transpose())
  #反向更新error
  for l in xrange(2,self.num_layers):
    z = zs[-l]
    sp = sigmoid_prime(z)
    delta = np.dot(self.weight[-l+1].transpose(),delta)*sp
    nabla_b[-l] = delta
    nabla_w[-l] = np.dot(delta,activations[-l-1].transpose())
  return (nabla_b,nabla_w)

其中，传入的x和y是一个单独的实例。

def cost_derivative(self,output_activation,y):
  return (output_activation-y)
def sigmoid(z):
  return 1.0/(1.0+np.exp(z))
def sigmoid_prime(z):
  return sigmoid(z)*(1-sigmoid(z))

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python新手教程之while循环20例
循环的作用就是让指定的代码重复的执行,while循环最常用的应用场景就是让执行的代码按照指定的次数重复执行,这篇文章主要给大家介绍了关于Python新手教程之while循环20例的相关资料,需要的朋友可以参考下
2024-05-05
Python中super函数的用法
这篇文章主要介绍了Python中super函数的用法，详细的介绍了Python super函数的具体用法和实例，具有一定的参考价值，有兴趣的可以了解一下
2017-11-11
Python使用进程Process模块管理资源
这篇文章主要介绍了Python使用进程Process模块管理资源,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-03-03
python3实现弹弹球小游戏
这篇文章主要介绍了python3实现弹弹球小游戏，图形用户界面tkinter，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2019-11-11
Python使用Networkx实现复杂的人物关系图
日常工作、生活中我们经常会遇到一些复杂的事务关系,比如人物关系,那如何才能清楚直观的看清楚这些任务关系呢？所以小编给大家介绍了Python如何使用Networkx实现复杂的人物关系图,文中通过代码示例讲解的非常详细,需要的朋友可以参考下
2023-11-11
Python无权点文件转化成邻接矩阵方式
这篇文章主要介绍了Python无权点文件转化成邻接矩阵方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-12-12
Pytorch中的torch.nn.Linear()方法用法解读
这篇文章主要介绍了Pytorch中的torch.nn.Linear()方法用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2024-02-02
详解Python的hasattr() getattr() setattr() 函数使用方法
这篇文章主要介绍了详解Python的hasattr() getattr() setattr() 函数使用方法,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
2018-07-07
Python之requests的使用（二）
上一篇我们说了requests的简单用法，知道了如何发送请求，今天我们更深层次的来学习requests。我们看看高级一点的操作，比如讲文件上传，cookies设置，代理设置之类的。感兴趣的同学可以参考阅读
2023-04-04
Python读取文件的8种常用方式
这篇文章主要给大家介绍了关于Python读取文件的8种常用方式,在编程语言中,文件读写是最常见的IO操作,文中通过代码示例介绍的非常详细,需要的朋友可以参考下
2023-09-09

python实现BackPropagation算法

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具