关于Pytorch的MLP模块实现方式
更新时间：2020年01月07日 17:06:19 作者：黄鑫huangxin
今天小编就为大家分享一篇关于Pytorch的MLP模块实现方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
MLP分类效果一般好于线性分类器，即将特征输入MLP中再经过softmax来进行分类。
具体实现为将原先线性分类模块：
self.classifier = nn.Linear(config.hidden_size, num_labels)
替换为：
self.classifier = MLP(config.hidden_size, num_labels)
并且添加MLP模块：
class MLP(nn.Module):
def __init__(self, input_size, common_size):
super(MLP, self).__init__()
self.linear = nn.Sequential(
nn.Linear(input_size, input_size // 2),
nn.ReLU(inplace=True),
nn.Linear(input_size // 2, input_size // 4),
nn.ReLU(inplace=True),
nn.Linear(input_size // 4, common_size)
)
def forward(self, x):
out = self.linear(x)
return out
看一下模块结构：
mlp = MLP(1000,3) print(mlp)
以上这篇关于Pytorch的MLP模块实现方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
python实现切割url得到域名、协议、主机名等各个字段的例子
今天小编就为大家分享一篇python实现切割url得到域名、协议、主机名等各个字段的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
import在python中的意思是用来调用模块的,下面这篇文章主要给大家介绍了关于python中import详解的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-02-02
这篇文章主要介绍了Python中defaultdict与dict的差异，在collections模块中的defauldict使用时与dict有何不同，为何我们用dict中的key值不存在时会报错，而defaudict不会报错，下面文章做出解答,需要的朋友可以参考一下2021-11-11
YAML是可读性高，用来表达数据序列化格式的，专用于写配置文件的语言，这篇文章主要介绍了Python使用yaml模块操作YAML文档,需要的朋友可以参考下2023-01-01
这篇文章主要介绍了Python 内置函数complex详解的相关资料,需要的朋友可以参考下2016-10-10
OpenCV是一个开源库,包含了许多计算机视觉算法,它在计算机视觉和图像处理中起着重要作用,用于实时操作,其效率足以满足工业上的要求,这篇文章主要给大家介绍了关于opencv python简易文档之图像处理算法的相关资料,需要的朋友可以参考下2021-08-08
这篇文章主要介绍了Python中的分支与循环结构解读,在Python编程中,分支(Branch)和循环(Loop)是掌握的关键要素之一,它们允许您根据条件执行不同的代码块,以及重复执行特定任务,需要的朋友可以参考下2023-10-10
下面小编就为大家分享一篇对numpy中布尔型数组的处理方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
Python语言检测模块langid和langdetect的使用实例
今天小编就为大家分享一篇关于Python语言检测模块langid和langdetect的使用实例，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-02-02
在本篇文章里小编给大家整理了关于python字典key不能是可以是啥类型的相关知识点，需要的朋友们可以参考下。2020-08-08
最新评论