PyTorch中torch.nn.functional.cosine_similarity使用详解

 更新时间:2022年03月24日 11:28:41   作者:JasonLiu1919  
在pytorch中可以使用torch.cosine_similarity函数对两个向量或者张量计算余弦相似度,这篇文章主要给大家介绍了关于PyTorch中torch.nn.functional.cosine_similarity使用的相关资料,需要的朋友可以参考下

概述

根据官网文档的描述,其中 dim表示沿着对应的维度计算余弦相似。那么怎么理解呢?

首先,先介绍下所谓的dim:

a = torch.tensor([[ [1, 2], [3, 4] ], [ [5, 6], [7, 8] ] ], dtype=torch.float)
print(a.shape)
"""
[
    [
        [1, 2],
        [3, 4]
    ],
    [
        [5, 6],
        [7, 8]
    ]
]
"""

假设有2个矩阵:[[1, 2], [3, 4]] 和 [[5, 6], [7, 8]], 求2者的余弦相似。

按照dim=0求余弦相似:

import torch.nn.functional as F
input1 = torch.tensor([[1, 2], [3, 4]], dtype=torch.float)
input2 = torch.tensor([[5, 6], [7, 8]], dtype=torch.float)
output = F.cosine_similarity(input1, input2, dim=0)
print(output)

结果如下:

tensor([0.9558, 0.9839])

那么,这个数值是怎么得来的?是按照

具体求解如下:

print(F.cosine_similarity(torch.tensor([1,3], dtype=torch.float) , torch.tensor([5,7], dtype=torch.float), dim=0))
print(F.cosine_similarity(torch.tensor([2,4], dtype=torch.float) , torch.tensor([6,8], dtype=torch.float), dim=0))

运行结果如下:

tensor(0.9558)tensor(0.9839)

可以用scipy.spatial进一步佐证:

from scipy import spatial

dataSetI = [1,3]
dataSetII = [5,7]
result = 1 - spatial.distance.cosine(dataSetI, dataSetII)
print(result)

运行结果如下:

0.95577900872195

同理:

dataSetI = [2,4]
dataSetII = [6,8]
result = 1 - spatial.distance.cosine(dataSetI, dataSetII)
print(result)

运行结果如下:

0.9838699100999074

按照dim=1求余弦相似:

output = F.cosine_similarity(input1, input2, dim=1)
print(output)

运行结果如下:

tensor([0.9734, 0.9972])

同理,用用scipy.spatial进一步佐证:

dataSetI = [1,2]
dataSetII = [5,6]
result = 1 - spatial.distance.cosine(dataSetI, dataSetII)
print(result)

运行结果:0.973417168333576

dataSetI = [3,4]
dataSetII = [7,8]
result = 1 - spatial.distance.cosine(dataSetI, dataSetII)
print(result)

运行结果:

0.9971641204866132

结果与F.cosine_similarity相符合。

补充:给定一个张量,计算多个张量与它的余弦相似度,并将计算得到的余弦相似度标准化。

import torch
def get_att_dis(target, behaviored):
    attention_distribution = []
    for i in range(behaviored.size(0)):
        attention_score = torch.cosine_similarity(target, behaviored[i].view(1, -1))  # 计算每一个元素与给定元素的余弦相似度
        attention_distribution.append(attention_score)
    attention_distribution = torch.Tensor(attention_distribution)
 
    return attention_distribution / torch.sum(attention_distribution, 0)        # 标准化
 
a = torch.FloatTensor(torch.rand(1, 10))
print('a', a)
b = torch.FloatTensor(torch.rand(3, 10))
print('b', b)
 
similarity = get_att_dis(target=a, behaviored=b)
print('similarity', similarity)

a tensor([[0.9255, 0.2194, 0.8370, 0.5346, 0.5152, 0.4645, 0.4926, 0.9882, 0.2783,
         0.9258]])
b tensor([[0.6874, 0.4054, 0.5739, 0.8017, 0.9861, 0.0154, 0.8513, 0.8427, 0.6669,
         0.0694],
        [0.1720, 0.6793, 0.7764, 0.4583, 0.8167, 0.2718, 0.9686, 0.9301, 0.2421,
         0.0811],
        [0.2336, 0.4783, 0.5576, 0.6518, 0.9943, 0.6766, 0.0044, 0.7935, 0.2098,
         0.0719]])
similarity tensor([0.3448, 0.3318, 0.3234])

总结

到此这篇关于PyTorch中torch.nn.functional.cosine_similarity使用的文章就介绍到这了,更多相关PyTorch torch.nn.functional.cosine_similarity使用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 在Python中居然可以定义两个同名通参数的函数

    在Python中居然可以定义两个同名通参数的函数

    今天小编就为大家分享一篇在Python中居然可以定义两个同名通参数的函数,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • python3.7安装matplotlib失败问题的完美解决方法

    python3.7安装matplotlib失败问题的完美解决方法

    由于学习需要安装matplotlib库,阅读网上教程后一直出现各种各样的错误,下面这篇文章主要给大家介绍了关于python3.7安装matplotlib失败问题的完美解决方法,需要的朋友可以参考下
    2022-07-07
  • pandas探索你的数据实现可视化示例详解

    pandas探索你的数据实现可视化示例详解

    这篇文章主要为大家介绍了pandas探索你的数据实现可视化示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-10-10
  • Pygame实现游戏最小系统功能详解

    Pygame实现游戏最小系统功能详解

    这篇文章主要介绍了Pygame实现游戏最小系统,Pygame是一个专门用来开发游戏的 Python 模块,主要为开发、设计 2D 电子游戏而生,具有免费、开源,支持多种操作系统,具有良好的跨平台性等优点
    2022-11-11
  • Python机器学习库scikit-learn使用详解

    Python机器学习库scikit-learn使用详解

    scikit-learn是Python中最流行的机器学习库之一,它提供了各种各样的机器学习算法和工具,包括分类、回归、聚类、降维等
    2023-03-03
  • jupyter安装小结

    jupyter安装小结

    jupyter (之前的 ipython notebook )于我的最大意义在于,让学习进程和探索进程变得可累积,正如它的原先名字中的 notebook 所暗示的那样,作为学习的记录者,方便你随时捡起学习的进度,增量式地前进
    2016-03-03
  • flask解析海康摄像头视频的使用

    flask解析海康摄像头视频的使用

    本文主要介绍了flask解析海康摄像头视频的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • 解决pycharm下os.system执行命令返回有中文乱码的问题

    解决pycharm下os.system执行命令返回有中文乱码的问题

    今天小编就为大家分享一篇解决pycharm下os.system执行命令返回有中文乱码的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • Python 实现键盘鼠标按键模拟

    Python 实现键盘鼠标按键模拟

    这篇文章主要介绍了Python 实现键盘按键模拟的方法,帮助大家提高办公效率,感兴趣的朋友可以了解下
    2020-11-11
  • Python之列表的append()方法最容易踩的坑

    Python之列表的append()方法最容易踩的坑

    这篇文章主要介绍了Python之列表的append()方法最容易踩的坑及解决,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-11-11

最新评论