支持PyTorch的einops张量操作神器用法示例详解

 更新时间:2021年11月01日 17:26:06   作者:木盏  
这篇文章主要为大家介绍了支持PyTorch的einops张量操作神器用法示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步早日升职加薪

今天做visual transformer研究的时候,发现了einops这么个神兵利器,决定大肆安利一波。

先看链接:https://github.com/arogozhnikov/einops

安装:

pip install einops

基础用法

einops的强项是把张量的维度操作具象化,让开发者“想出即写出”。举个例子:

from einops import rearrange
 
# rearrange elements according to the pattern
output_tensor = rearrange(input_tensor, 'h w c -> c h w')

用'h w c -> c h w'就完成了维度调换,这个功能与pytorch中的permute相似。但是,einops的rearrange玩法可以更高级:

from einops import rearrange
import torch
 
a = torch.randn(3, 9, 9)  # [3, 9, 9]
output = rearrange(a, 'c (r p) w -> c r p w', p=3)
print(output.shape)   # [3, 3, 3, 9]

这就是高级用法了,把中间维度看作r×p,然后给出p的数值,这样系统会自动把中间那个维度拆解成3×3。这样就完成了[3, 9, 9] -> [3, 3, 3, 9]的维度转换。

这个功能就不是pytorch的内置功能可比的。

除此之外,还有reduce和repeat,也是很好用。

from einops import repeat
import torch
 
a = torch.randn(9, 9)  # [9, 9]
output_tensor = repeat(a, 'h w -> c h w', c=3)  # [3, 9, 9]

指定c,就可以指定复制的层数了。

再看reduce:

from einops import reduce
import torch
 
a = torch.randn(9, 9)  # [9, 9]
output_tensor = reduce(a, 'b c (h h2) (w w2) -> b h w c', 'mean', h2=2, w2=2)

这里的'mean'指定池化方式。 相信你看得懂,不懂可留言提问~

高级用法 

einops也可以嵌套在pytorch的layer里,请看:

# example given for pytorch, but code in other frameworks is almost identical  
from torch.nn import Sequential, Conv2d, MaxPool2d, Linear, ReLU
from einops.layers.torch import Rearrange
 
model = Sequential(
    Conv2d(3, 6, kernel_size=5),
    MaxPool2d(kernel_size=2),
    Conv2d(6, 16, kernel_size=5),
    MaxPool2d(kernel_size=2),
    # flattening
    Rearrange('b c h w -> b (c h w)'),  
    Linear(16*5*5, 120), 
    ReLU(),
    Linear(120, 10), 
)

这里的Rearrange是nn.module的子类,直接可以当作网络层放到模型里~

一个字,绝。

以上就是支持PyTorch的einops张量操作神器用法示例详解的详细内容,更多关于einops张量操作用法的资料请关注脚本之家其它相关文章!

相关文章

  • python如何获取当前文件夹下所有文件名详解

    python如何获取当前文件夹下所有文件名详解

    这篇文章主要给大家介绍了关于python如何获取当前文件夹下所有文件名的相关资料,文中给出了详细的示例代码,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面来一起看看吧
    2019-01-01
  • python 通过麦克风录音 生成wav文件的方法

    python 通过麦克风录音 生成wav文件的方法

    今天小编就为大家分享一篇python 通过麦克风录音 生成wav文件的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • Python爬虫基础之简单说一下scrapy的框架结构

    Python爬虫基础之简单说一下scrapy的框架结构

    今天给大家带来的是关于Python爬虫的相关知识,文章围绕着scrapy的框架结构展开,文中有非常详细的介绍及代码示例,需要的朋友可以参考下
    2021-06-06
  • Django crontab定时任务模块操作方法解析

    Django crontab定时任务模块操作方法解析

    这篇文章主要介绍了Django crontab定时任务模块操作方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-09-09
  • pytorch中model.named_parameters()与model.parameters()解读

    pytorch中model.named_parameters()与model.parameters()解读

    这篇文章主要介绍了pytorch中model.named_parameters()与model.parameters()使用及说明,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-11-11
  • Python中的魔术方法Magic Methods使用实例全面指南

    Python中的魔术方法Magic Methods使用实例全面指南

    在Python中,魔术方法Magic Methods是一种特殊的方法,它们以双下划线开头和结尾,如__init__、__str__等,这些方法允许定制类的行为,使得对象更具有灵活性和可定制性,本文将深入探讨Python中一些常用的魔术方法,以及如何使用它们来定制类与对象
    2024-01-01
  • Python使用requests xpath 并开启多线程爬取西刺代理ip实例

    Python使用requests xpath 并开启多线程爬取西刺代理ip实例

    这篇文章主要介绍了Python使用requests xpath 并开启多线程爬取西刺代理ip实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03
  • pytorch plt.savefig()的用法及保存路径

    pytorch plt.savefig()的用法及保存路径

    这篇文章主要给大家介绍了关于pytorch plt.savefig()的用法及保存路径的相关资料,文中通过实例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2022-01-01
  • Python Coroutine池化的实现详解

    Python Coroutine池化的实现详解

    在当今计算机科学和软件工程的领域中,池化技术如线程池、连接池和对象池等已经成为优化资源利用率和提高软件性能的重要工具,所以下面我们就来看看Coroutine池化的具体实现吧
    2024-01-01
  • Python爬虫框架scrapy实现的文件下载功能示例

    Python爬虫框架scrapy实现的文件下载功能示例

    这篇文章主要介绍了Python爬虫框架scrapy实现的文件下载功能,结合实例形式分析了scrapy框架进行文件下载的具体操作步骤与相关实现技巧,需要的朋友可以参考下
    2018-08-08

最新评论