Pytorch从0实现Transformer的实践
摘要
With the continuous development of time series prediction, Transformer-like models have gradually replaced traditional models in the fields of CV and NLP by virtue of their powerful advantages. Among them, the Informer is far superior to the traditional RNN model in long-term prediction, and the Swin Transformer is significantly stronger than the traditional CNN model in image recognition. A deep grasp of Transformer has become an inevitable requirement in the field of artificial intelligence. This article will use the Pytorch framework to implement the position encoding, multi-head attention mechanism, self-mask, causal mask and other functions in Transformer, and build a Transformer network from 0.
随着时序预测的不断发展，Transformer类模型凭借强大的优势，在CV、NLP领域逐渐取代传统模型。其中Informer在长时序预测上远超传统的RNN模型，Swin Transformer在图像识别上明显强于传统的CNN模型。深层次掌握Transformer已经成为从事人工智能领域的必然要求。本文将用Pytorch框架，实现Transformer中的位置编码、多头注意力机制、自掩码、因果掩码等功能，从0搭建一个Transformer网络。
一、构造数据
1.1 句子长度
# 关于word embedding，以序列建模为例 # 输入句子有两个，第一个长度为2，第二个长度为4 src_len = torch.tensor([2, 4]).to(torch.int32) # 目标句子有两个。第一个长度为4， 第二个长度为3 tgt_len = torch.tensor([4, 3]).to(torch.int32) print(src_len) print(tgt_len)
输入句子(src_len)有两个，第一个长度为2，第二个长度为4
目标句子(tgt_len)有两个。第一个长度为4， 第二个长度为3
1.2 生成句子
用随机数生成句子，用0填充空白位置，保持所有句子长度一致
src_seq = torch.cat([torch.unsqueeze(F.pad(torch.randint(1, max_num_src_words, (L, )), (0, max(src_len)-L)), 0) for L in src_len]) tgt_seq = torch.cat([torch.unsqueeze(F.pad(torch.randint(1, max_num_tgt_words, (L, )), (0, max(tgt_len)-L)), 0) for L in tgt_len]) print(src_seq) print(tgt_seq)
src_seq为输入的两个句子，tgt_seq为输出的两个句子。
为什么句子是数字？在做中英文翻译时，每个中文或英文对应的也是一个数字，只有这样才便于处理。
1.3 生成字典
在该字典中，总共有8个字(行)，每个字对应8维向量(做了简化了的)。注意在实际应用中，应当有几十万个字，每个字可能有512个维度。
# 构造word embedding src_embedding_table = nn.Embedding(9, model_dim) tgt_embedding_table = nn.Embedding(9, model_dim) # 输入单词的字典 print(src_embedding_table) # 目标单词的字典 print(tgt_embedding_table)
字典中，需要留一个维度给class token，故是9行。
1.4 得到向量化的句子
通过字典取出1.2中得到的句子
# 得到向量化的句子 src_embedding = src_embedding_table(src_seq) tgt_embedding = tgt_embedding_table(tgt_seq) print(src_embedding) print(tgt_embedding)
该阶段总程序
import torch # 句子长度 src_len = torch.tensor([2, 4]).to(torch.int32) tgt_len = torch.tensor([4, 3]).to(torch.int32) # 构造句子，用0填充空白处 src_seq = torch.cat([torch.unsqueeze(F.pad(torch.randint(1, 8, (L, )), (0, max(src_len)-L)), 0) for L in src_len]) tgt_seq = torch.cat([torch.unsqueeze(F.pad(torch.randint(1, 8, (L, )), (0, max(tgt_len)-L)), 0) for L in tgt_len]) # 构造字典 src_embedding_table = nn.Embedding(9, 8) tgt_embedding_table = nn.Embedding(9, 8) # 得到向量化的句子 src_embedding = src_embedding_table(src_seq) tgt_embedding = tgt_embedding_table(tgt_seq) print(src_embedding) print(tgt_embedding)
二、位置编码
位置编码是transformer的一个重点，通过加入transformer位置编码，代替了传统RNN的时序信息，增强了模型的并发度。位置编码的公式如下：(其中pos代表行，i代表列)
2.1 计算括号内的值
# 得到分子pos的值 pos_mat = torch.arange(4).reshape((-1, 1)) # 得到分母值 i_mat = torch.pow(10000, torch.arange(0, 8, 2).reshape((1, -1))/8) print(pos_mat) print(i_mat)
2.2 得到位置编码
# 初始化位置编码矩阵 pe_embedding_table = torch.zeros(4, 8) # 得到偶数行位置编码 pe_embedding_table[:, 0::2] =torch.sin(pos_mat / i_mat) # 得到奇数行位置编码 pe_embedding_table[:, 1::2] =torch.cos(pos_mat / i_mat) pe_embedding = nn.Embedding(4, 8) # 设置位置编码不可更新参数 pe_embedding.weight = nn.Parameter(pe_embedding_table, requires_grad=False) print(pe_embedding.weight)
三、多头注意力
3.1 self mask
有些位置是空白用0填充的，训练时不希望被这些位置所影响，那么就需要用到self mask。self mask的原理是令这些位置的值为无穷小，经过softmax后，这些值会变为0，不会再影响结果。
3.1.1 得到有效位置矩阵
# 得到有效位置矩阵 vaild_encoder_pos = torch.unsqueeze(torch.cat([torch.unsqueeze(F.pad(torch.ones(L), (0, max(src_len) - L)), 0)for L in src_len]), 2) valid_encoder_pos_matrix = torch.bmm(vaild_encoder_pos, vaild_encoder_pos.transpose(1, 2)) print(valid_encoder_pos_matrix)
3.1.2 得到无效位置矩阵
invalid_encoder_pos_matrix = 1-valid_encoder_pos_matrix mask_encoder_self_attention = invalid_encoder_pos_matrix.to(torch.bool) print(mask_encoder_self_attention)
True代表需要对该位置mask
3.1.3 得到mask矩阵
用极小数填充需要被mask的位置
# 初始化mask矩阵 score = torch.randn(2, max(src_len), max(src_len)) # 用极小数填充 mask_score = score.masked_fill(mask_encoder_self_attention, -1e9) print(mask_score)
算其softmat
mask_score_softmax = F.softmax(mask_score) print(mask_score_softmax)
可以看到，已经达到预期效果
到此这篇关于Pytorch从0实现Transformer的实践的文章就介绍到这了,更多相关Pytorch Transformer内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了安装pytorch时报sslerror错误的解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
Python包安装失败最主要原因是默认安装源为国外服务器,安装速度慢,但是在使用python扩展包安装失败,本文就来介绍一下,感兴趣的可以了解一下2023-09-09
本文是给大家分享的使用python获取到域名所在服务器的真实IP，原因是现在很多的网站都使用了CDN，大家很难直接查到域名的服务器的IP，本文是使用了一个巧妙的方法，详情请仔细看看下文吧2015-10-10
最近用scrapy-redis尝试了分布式爬虫,使用过程中也遇到了不少问题,下面这篇文章主要给大家介绍了关于分布式爬虫scrapy-redis的实战踩坑记录,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-08-08
这篇文章主要为大家详细介绍了python基础教程项目二之画幅好画，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-04-04
这篇文章介绍了pytest多进程或多线程执行测试的实例，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-07-07
这篇文章主要为大家详细介绍了Python实现简单的猜单词，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-06-06
由于前面学习了使用pygame的简单操作,现在学习当前的pygame怎么加载图片,下面这篇文章主要给大家介绍了关于使用PyGame显示图像的四种方案,文中通过图文介绍的非常详细,需要的朋友可以参考下2022-12-12
在本篇文章里小编给大家整理的是一篇关于python中reload重载实例用法相关知识点，有兴趣的朋友们可以参考下。2020-12-12
使用python编写批量卸载手机中安装的android应用脚本
该脚本的功能是卸载android手机中安装的所有第三方应用，主要是使用adb shell pm、adb uninstall 命令,需要的朋友可以参考下2014-07-07
最新评论