关于Pytorch的MLP模块实现方式
更新时间：2020年01月07日 17:06:19 作者：黄鑫huangxin
今天小编就为大家分享一篇关于Pytorch的MLP模块实现方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
MLP分类效果一般好于线性分类器，即将特征输入MLP中再经过softmax来进行分类。
具体实现为将原先线性分类模块：
self.classifier = nn.Linear(config.hidden_size, num_labels)
替换为：
self.classifier = MLP(config.hidden_size, num_labels)
并且添加MLP模块：
class MLP(nn.Module):
def __init__(self, input_size, common_size):
super(MLP, self).__init__()
self.linear = nn.Sequential(
nn.Linear(input_size, input_size // 2),
nn.ReLU(inplace=True),
nn.Linear(input_size // 2, input_size // 4),
nn.ReLU(inplace=True),
nn.Linear(input_size // 4, common_size)
)
def forward(self, x):
out = self.linear(x)
return out
看一下模块结构：
mlp = MLP(1000,3) print(mlp)
以上这篇关于Pytorch的MLP模块实现方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python使用Turtle模块绘制五星红旗代码示例，具有一定借鉴价值，需要的朋友可以参考下。2017-12-12
这篇文章主要介绍了python自定义类并使用的方法,涉及Python中类的定义与使用技巧,需要的朋友可以参考下2015-05-05
这篇文章主要介绍了pytorch使用-tensor的基本操作解读，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-12-12
这篇文章主要介绍了Python单线程多线程和多进程效率对比，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-05-05
这篇文章主要介绍了Python中BeautifuSoup库的用法使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-11-11
下面小编就为大家带来一篇在Linux命令行终端中使用python的简单方法(推荐)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-01-01
一般在python代码块的调试过程中会使用memory-profiler、filprofiler、objgraph等三种方式进行辅助分析，今天这里主要介绍使用objgraph对象提供的函数接口来进行内存泄露的分析，感兴趣的可以了解一下2023-01-01
今天小编就为大家分享一篇浅谈python写入大量文件的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-11-11
这篇文章主要介绍了python读取并写入mat文件的方法，文中给大家提到了python读取matlab写的mat文件问题以及解决办法 ,需要的朋友可以参考下2019-07-07
这篇文章主要介绍了Python利用PyPDF2库获取PDF文件总页码实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
最新评论