Softmax函数原理及Python实现过程解析

 更新时间:2020年05月22日 15:52:19   作者:April15  
这篇文章主要介绍了Softmax函数原理及Python实现过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

Softmax原理

Softmax函数用于将分类结果归一化,形成一个概率分布。作用类似于二分类中的Sigmoid函数。

对于一个k维向量z,我们想把这个结果转换为一个k个类别的概率分布p(z)。softmax可以用于实现上述结果,具体计算公式为:

对于k维向量z来说,其中zi∈R,我们使用指数函数变换可以将元素的取值范围变换到(0,+∞),之后我们再所有元素求和将结果缩放到[0,1],形成概率分布。

常见的其他归一化方法,如max-min、z-score方法并不能保证各个元素为正,且和为1。

Softmax性质

输入向量x加上一个常数c后求softmax结算结果不变,即:


我们使用softmax(x)的第i个元素的计算来进行证明:

函数实现

由于指数函数的放大作用过于明显,如果直接使用softmax计算公式

进行函数实现,容易导致数据溢出(上溢)。所以我们在函数实现时利用其性质:先对输入数据进行处理,之后再利用计算公式计算。具体使得实现步骤为:

  • 查找每个向量x的最大值c;
  • 每个向量减去其最大值c, 得到向量y = x-c;
  • 利用公式进行计算,softmax(x) = softmax(x-c) = softmax(y)

代码如下:

import numpy as np

def softmax(x):
  """
  softmax函数实现
  参数:
  x --- 一个二维矩阵, m * n,其中m表示向量个数,n表示向量维度
  返回:
  softmax计算结果
  """
  assert(len(X.shape) == 2)
  row_max = np.max(X, axis=axis).reshape(-1, 1)
  X -= row_max
  X_exp = np.exp(X)
  s = X_exp / np.sum(X_exp, axis=axis, keepdims=True)

  return s

测试一下:

a = [[1,2,3],[-1,-2,-3]]
b = [[1,2,3]]
c = [1,2,3]
a = np.array(a)
b = np.array(b)
c = np.array(c)

print(softmax(a))
print(softmax(b))
print(softmax(c)) # error

输出结果为:

[[ 0.09003057 0.24472847 0.66524096]
[ 0.66524096 0.24472847 0.09003057]]
[[ 0.09003057 0.24472847 0.66524096]]
Traceback (most recent call last):
assert(len(X.shape) == 2)
AssertionError

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • Python的Scrapy爬虫框架简单学习笔记

    Python的Scrapy爬虫框架简单学习笔记

    这篇文章主要介绍了Python的Scrapy爬虫框架简单学习笔记,从基本的创建项目到CrawlSpider的使用等都有涉及,需要的朋友可以参考下
    2016-01-01
  • Python-OpenCV中的cv2.inpaint()函数的使用

    Python-OpenCV中的cv2.inpaint()函数的使用

    大多数人会在家里放一些旧的退化照片,上面有一些黑点,一些笔画等。你有没有想过恢复它?本文就来介绍一下方法,感兴趣的可以了解一下
    2021-06-06
  • 基于Python爬虫采集天气网实时信息

    基于Python爬虫采集天气网实时信息

    这篇文章主要介绍了基于Python爬虫采集天气网实时信息,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-06-06
  • python ocr简单示例之识别验证码

    python ocr简单示例之识别验证码

    OCR(Optical character recognition,光学字符识别)是一种将图像中的手写字或者印刷文本转换为机器编码文本的技术,下面这篇文章主要给大家介绍了关于python ocr简单示例之识别验证码的相关资料,需要的朋友可以参考下
    2023-01-01
  • python中常用的内置模块汇总

    python中常用的内置模块汇总

    Python内置的模块有很多,我们也已经接触了不少相关模块,接下来咱们就来做一些汇总和介绍,在此我会整理出项目开发最常用的来进行讲解,感兴趣的朋友跟随小编一起看看吧
    2022-01-01
  • python使用matplotlib画柱状图、散点图

    python使用matplotlib画柱状图、散点图

    这篇文章主要为大家详细介绍了python使用matplotlib画柱状图、散点图,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-03-03
  • 在Python中使用K-Means聚类和PCA主成分分析进行图像压缩

    在Python中使用K-Means聚类和PCA主成分分析进行图像压缩

    这篇文章主要介绍了在Python中使用K-Means聚类和PCA主成分分析进行图像压缩,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • Python正则表达式学习小例子

    Python正则表达式学习小例子

    这篇文章主要介绍了Python正则表达式学习小例子,学习python的朋友可以参考一下
    2020-03-03
  • 忆童年!用Python实现愤怒的小鸟游戏

    忆童年!用Python实现愤怒的小鸟游戏

    好久都没玩过愤怒的小鸟了,今天咱自己做一个玩玩,文中有非常详细的代码示例,对想玩的小伙伴们很有用哦,需要的朋友可以参考下
    2021-06-06
  • python实现一般游戏的自动点击具体操作

    python实现一般游戏的自动点击具体操作

    这篇文章主要介绍了python实现一般游戏的自动点击,本文给大家分享具体操作代码及需要的软件,需要的朋友可以参考下
    2021-10-10

最新评论