Pytorch如何快速计算余弦相似性矩阵

 更新时间:2024年02月26日 09:26:10   作者:Daft shiner  
这篇文章主要介绍了Pytorch如何快速计算余弦相似性矩阵问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

Pytorch计算余弦相似性矩阵

之前一直想找一个可以快速用矩阵相乘(可以直接GPU加速)计算余弦相似性矩阵的代码,总算找到了。

代码是在参考代码的基础上进行了一些修改以适配自己的任务。

import torch


def calculate_cosine_similarity_matrix(h_emb, eps=1e-8):
    r'''

    '''
    # h_emb (N, M)
    # normalize
    a_n = h_emb.norm(dim=1).unsqueeze(1)
    a_norm = h_emb / torch.max(a_n, eps * torch.ones_like(a_n))

    # cosine similarity matrix
    sim_matrix = torch.einsum('bc,cd->bd', a_norm, a_norm.transpose(0,1))
    return sim_matrix


if __name__ == "__main__":
    x = torch.randn(100, 700)
    sim_matrix = calculate_cosine_similarity_matrix(x, eps=1e-8)
    # print(sim_matrix)
    y = torch.zeros((100,100))
    for i in range(100):
        for j in range(100):
            y[i,j] = torch.cosine_similarity(x[i].unsqueeze(dim=0), x[j].unsqueeze(dim=0))

    print(y-sim_matrix)

输出结果:

tensor([[ 0.0000e+00,  0.0000e+00, -1.8626e-09,  ..., -1.7462e-09,
         -2.2352e-08, -1.6764e-08],
        [ 0.0000e+00, -2.3842e-07, -3.7253e-09,  ..., -2.6077e-08,
         -9.3132e-09, -1.1642e-08],
        [-1.8626e-09, -3.7253e-09,  1.1325e-06,  ..., -5.3551e-09,
         -4.6566e-09, -1.8626e-08],
        ...,
        [-1.7462e-09, -2.6077e-08, -5.3551e-09,  ...,  5.9605e-07,
         -2.4214e-08, -2.2352e-08],
        [-2.2352e-08, -9.3132e-09, -4.6566e-09,  ..., -2.4214e-08,
          2.3842e-07,  9.3132e-10],
        [-1.6764e-08, -1.1642e-08, -1.8626e-08,  ..., -2.2352e-08,
          9.3132e-10,  3.5763e-07]])

可以说误差非常小了,非常之nice。

接下来讲讲为什么这么写

首先回顾一下余弦相似性(图源自百度百科):

其实一开始我理解不了这个代码为什么可以实现(本人比较呆)。

首先我们可以将输入看作是一个向量而不是一个矩阵,那么

a_n = h_emb.norm(dim=1)

得到的是该向量的二范数,接着用

a_norm = h_emb / torch.max(a_n, eps * torch.ones_like(a_n))

可以看作是,至于为什么要加eps是防止0除。

现在你再把原来的向量看回是一个矩阵,那么最后的

sim_matrix = torch.einsum('bc,cd->bd', a_norm, a_norm.transpose(0,1))

就好理解得到的是一个相似性矩阵了。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • tesseract库及训练数据下载安装方式

    tesseract库及训练数据下载安装方式

    这篇文章主要介绍了tesseract库及训练数据下载安装方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-02-02
  • python的几种矩阵相乘的公式详解

    python的几种矩阵相乘的公式详解

    这篇文章主要介绍了python的几种矩阵相乘的公式详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-07-07
  • 图文详解Python中最神秘的一个魔法函数

    图文详解Python中最神秘的一个魔法函数

    Python进阶之路我觉得有两个东西一定要了解,一个是魔法函数,下面这篇文章主要给大家介绍了关于Python中最神秘的一个魔法函数的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2021-12-12
  • python 爬虫如何正确的使用cookie

    python 爬虫如何正确的使用cookie

    这篇文章主要介绍了python 爬虫如何使用cookie,帮助大家绕过网站设置的登录规则以及登录时的验证码识别,完成自身的爬取需求,感兴趣的朋友可以了解下
    2020-10-10
  • python 常见的反爬虫策略

    python 常见的反爬虫策略

    这篇文章主要介绍了python反爬虫策略,帮助大家更好的理解和使用python 爬虫,感兴趣的朋友可以了解下
    2020-09-09
  • Pandas DataFrame如何按照一列数据的特定顺序进行排序

    Pandas DataFrame如何按照一列数据的特定顺序进行排序

    这篇文章主要介绍了Pandas DataFrame如何按照一列数据的特定顺序进行排序,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-10-10
  • python中的装饰器详解

    python中的装饰器详解

    这篇文章主要介绍了python中的装饰器详解,本文讲解了装饰器语法、简单装饰器、带内嵌函数装饰器、带参数的装饰器等内容,需要的朋友可以参考下
    2015-04-04
  • asyncio 的 coroutine对象 与 Future对象使用指南

    asyncio 的 coroutine对象 与 Future对象使用指南

    asyncio是Python 3.4版本引入的标准库,直接内置了对异步IO的支持。asyncio的编程模型就是一个消息循环。今天我们就来详细讨论下asyncio 中的 coroutine 与 Future对象
    2016-09-09
  • pyecharts结合flask框架的使用

    pyecharts结合flask框架的使用

    这篇文章主要介绍了pyecharts结合flask框架,主要是介绍如何在Flask框架中使用pyecharts,本文通过示例代码给大家介绍的非常详细,需要的朋友可以参考下
    2022-06-06
  • Pytorch模型中的parameter与buffer用法

    Pytorch模型中的parameter与buffer用法

    这篇文章主要介绍了Pytorch模型中的parameter与buffer用法,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-06-06

最新评论