Softmax函数原理及Python实现过程解析
Softmax原理
Softmax函数用于将分类结果归一化，形成一个概率分布。作用类似于二分类中的Sigmoid函数。
对于一个k维向量z，我们想把这个结果转换为一个k个类别的概率分布p(z)。softmax可以用于实现上述结果，具体计算公式为：
对于k维向量z来说，其中zi∈R，我们使用指数函数变换可以将元素的取值范围变换到(0,+∞),之后我们再所有元素求和将结果缩放到[0,1],形成概率分布。
常见的其他归一化方法，如max-min、z-score方法并不能保证各个元素为正，且和为1。
Softmax性质
输入向量x加上一个常数c后求softmax结算结果不变，即:
我们使用softmax(x)的第i个元素的计算来进行证明：
函数实现
由于指数函数的放大作用过于明显，如果直接使用softmax计算公式
进行函数实现，容易导致数据溢出(上溢)。所以我们在函数实现时利用其性质：先对输入数据进行处理，之后再利用计算公式计算。具体使得实现步骤为：
- 查找每个向量x的最大值c；
- 每个向量减去其最大值c, 得到向量y = x-c;
- 利用公式进行计算,softmax(x) = softmax(x-c) = softmax(y)
代码如下：
import numpy as np def softmax(x): """ softmax函数实现 参数： x --- 一个二维矩阵, m * n,其中m表示向量个数，n表示向量维度 返回： softmax计算结果 """ assert(len(X.shape) == 2) row_max = np.max(X, axis=axis).reshape(-1, 1) X -= row_max X_exp = np.exp(X) s = X_exp / np.sum(X_exp, axis=axis, keepdims=True) return s
测试一下：
a = [[1,2,3],[-1,-2,-3]]
b = [[1,2,3]]
c = [1,2,3]
a = np.array(a)
b = np.array(b)
c = np.array(c)print(softmax(a))
print(softmax(b))
print(softmax(c)) # error
输出结果为：
[[ 0.09003057 0.24472847 0.66524096]
[ 0.66524096 0.24472847 0.09003057]]
[[ 0.09003057 0.24472847 0.66524096]]
Traceback (most recent call last):
assert(len(X.shape) == 2)
AssertionError
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家详细介绍了python使用Plotly绘图工具绘制散点图、线形图，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-04-04
这篇文章主要介绍了Jupyter打开图形界面并画出正弦函数图像实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
unittest是python的一个单元测试框架，它是用于对一个确定结果和预测结果的一种判断，这篇文章主要介绍了Django中的unittest及应用,需要的朋友可以参考下2021-11-11
这篇文章主要介绍了python 利用panda 实现列联表(交叉表)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-02-02
手机上突然收到了某银行的短信提示,看了一下手机的位数,正好是11位,我一想,这不就是标准的手机号码吗？于是想用python的库实现查询手机号码归属地查询自由,所以本文给大家介绍了如何用python实现手机号归属地查询功能,需要的朋友可以参考下2024-03-03
这篇文章主要介绍了关于Python socket库的详细技术解析,包含基础方法说明、工作原理剖析,以及多个应用领域的完整实现代码,对大家的学习或工作有一定的帮助,需要的朋友可以参考下2025-04-04
这篇文章主要介绍了Python数据可视化正态分布简单分析及实现代码，具有一定借鉴价值，需要的朋友可以参考下。2017-12-12
这篇文章主要介绍了DataFrame.groupby()所见的各种用法详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-06-06
今年最火的应该就是ChatGPT了，现在短短2个月已经突破了1亿注册用户，马斯克可高兴坏了，这篇文章主要介绍了如何在Python里使用ChatGPT及ChatGPT是什么?注册方式?需要的朋友可以参考下2023-02-02
今天 Python3.8 发布啦，它是 Python2 终结前最后一个大版本，我们一起看看这个版本都添加了那些新功能和特性2019-10-10
最新评论