Python实现softmax反向传播的示例代码
更新时间：2023年04月09日 14:10:10 作者：SugerOO
这篇文章主要为大家详细介绍了Python实现softmax反向传播的相关资料，文中的示例代码讲解详细，具有一定的参考价值，感兴趣的可以了解一下
概念
softmax函数是常用的输出层函数，常用来解决互斥标签的多分类问题。当然由于他是非线性函数，也可以作为隐藏层函数使用
反向传播求导
可以看到，softmax 计算了多个神经元的输入，在反向传播求导时，需要考虑对不同神经元的参数求导。
分两种情况考虑：
- 当求导的参数位于分子时
- 当求导的参数位于分母时
当求导的参数位于分子时：
当求导的参数位于分母时(ez2 or ez3这两个是对称的，求导结果是一样的)：
代码
import torch
import math
def my_softmax(features):
_sum = 0
for i in features:
_sum += math.e ** i
return torch.Tensor([ math.e ** i / _sum for i in features ])
def my_softmax_grad(outputs):
n = len(outputs)
grad = []
for i in range(n):
temp = []
for j in range(n):
if i == j:
temp.append(outputs[i] * (1- outputs[i]))
else:
temp.append(-outputs[j] * outputs[i])
grad.append(torch.Tensor(temp))
return grad
if __name__ == '__main__':
features = torch.randn(10)
features.requires_grad_()
torch_softmax = torch.nn.functional.softmax
p1 = torch_softmax(features,dim=0)
p2 = my_softmax(features)
print(torch.allclose(p1,p2))
n = len(p1)
p2_grad = my_softmax_grad(p2)
for i in range(n):
p1_grad = torch.autograd.grad(p1[i],features, retain_graph=True)
print(torch.allclose(p1_grad[0], p2_grad[i]))到此这篇关于Python实现softmax反向传播的示例代码的文章就介绍到这了,更多相关Python softmax 反向传播内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了python中让自定义的类使用加号"+",如果对两个对象直接“+”肯定是不行的，因为还没有对CartoonImage类重载加法运算符__add__(),下文小编举例形式讲解该内容，需要的下伙伴可以参考一下2022-03-03
这篇文章主要介绍了python交互模式下输入换行/输入多行命令的方法,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2019-07-07
Python利用xlwt/openpyxl/xlutils实现写入Excel数据
这篇文章主要为大家详细介绍了Python如何利用xlwt/openpyxl/xlutils这些第三方库实现写入Excel数据功能,感兴趣的小伙伴可以跟随小编一起学习一下2024-11-11
这篇文章主要介绍了两行Python代码制作动态二维码的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-10-10
这篇文章主要给大家介绍了关于Python爬虫教程之利用正则表达式匹配网页内容的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
python XlsxWriter模块创建aexcel表格的实例讲解
今天小编就为大家分享一篇python XlsxWriter模块创建aexcel表格的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
在 Python 中，我们可以使用 Tkinter 制作 GUI。如果你非常有想象力和创造力，你可以用 Tkinter 做出很多有趣的东西，希望本篇文章能够帮到你2021-08-08
在诸如网络爬虫、web应用开发等场景中，我们需要利用Python完成大量的url解析、生成等操作。本文为大家介绍了Pythonyarl操作url的方法，需要的可以了解一下2022-10-10
七夕快到了,所以本文小编将给给大家介绍五种拿来就能用的炫酷表白代码,无限弹窗表白,爱心发射,心动表白,玫瑰花等表白代码,需要的小伙伴快来试试吧2023-08-08
这篇文章主要分享的是 Python 编程语言的详细介绍，Python 由 Guido van Rossum 设计，作为“ABC”编程语言的继承者，于 1991 年首次发布。它是一种高级通用语言，其设计理念是通过使用缩进来强调代码的可读性。文章具有一定的参考价值,需要的朋友可以参考一下2021-11-11
最新评论