pytorch神经网络从零开始实现多层感知机
我们已经在数学上描述了多层感知机，现在让我们尝试自己实现一个多层感知机。为了与我们之前使用softmax回归获得的结果进行比较，我们将继续使用Fashion-MNIST图像分类数据集。
import torch from torch import nn from d2l import torch as d2l
batch_size = 256 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
初始化模型参数
Fashion-MNIST中的每个图像由 28 × 28 = 784个灰度图像值组成。所有图像共分为10个类别。忽略像素之间的空间结构，我们可以将每个图像视为784个输入特征和10个类的简单分类数据集。
首先，我们将实现一个具有单隐藏层的多层感知机，它包含256个隐藏单元。注意我们可以将这两个量都视为超参数。通常，我们选择2的若干次幂作为层的宽度。
我们用几个张量来表示我们的参数。注意，对于每一层我们都需要记录一个权重矩阵和一个偏置向量。跟以前一样，我们要为这些参数的损失梯度分配内存。
num_inputs, num_outputs, num_hiddens = 784, 10, 256 W1 = nn.Parameter(torch.randn( num_inputs, num_hiddens, requires_grad=True) * 0.01) b1 = nn.Parameter(torch.zeros(num_hiddens, requires_grad=True)) W2 = nn.Parameter(torch.randn( num_hiddens, num_outputs, requires_grad=True) * 0.01) b2 = nn.Parameter(torch.zeros(num_outputs, requires_grad=True)) params = [W1, b1, W2, b2]
激活函数
为了确保我们知道一切是如何工作的，我们将使用最大值函数自己实现ReLU激活函数，而不是直接调用内置的relu函数。
def relu(X): a = torch.zeros_like(X) return torch.max(X, a)
模型
因为我们忽略了空间结构，所示我们使用reshape将每个二维图像转换为一个长度为num_inputs的向量。我们只需几行代码就可以实现我们的模型。
def net(X): X = X.reshape((-1, num_inputs)) H = relu(X@W1 + b1) # 这里“@”代表矩阵乘法 return (H@W2 + b2)
损失函数
为了确保数值的稳定性，同时由于我们已经从零实现过softmax函数，因此在这里我们直接使用高级API中的内置函数来计算softmax和交叉熵损失。
loss = nn.CrossEntropyLoss()
训练
幸运的是，多层感知机的训练过程与softmax回归的训练过程完全相同。可以直接调用d2l包的train_ch3函数，将迭代周期设置为10，并将学习率设置为0.1。
num_epochs, lr = 10, 0.1 updater = torch.optim.SGD(params, lr=lr) d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)
为了对学习到的模型进行评估，我们将在一些 测试数据上应用这个模型。
d2l.predict_ch3(net, test_iter)
以上就是pytorch神经网络从零开始实现多层感知机的详细内容，更多关于pytorch神经网络多层感知机的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要介绍了Python通过Schema实现数据验证方式,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-11-11
这篇文章主要介绍了Python 类的继承实例详解的相关资料,需要的朋友可以参考下2017-03-03
本文将介绍如何在Python中进行Redis操作，包括连接Redis、数据存储、数据检索和其他常见操作,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-11-11
这篇文章主要为大家详细介绍了python实现邮件发送功能，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-08-08
这篇文章主要介绍了一些Python中的隐藏特性,从stackoverflow的人气问题回答中整理而来，主要以代码实际解释说明，需要的朋友可以参考下2015-03-03
这篇文章主要介绍了Python如何实现数字的格式化输出，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-08-08
这篇文章主要介绍了Python基于PycURL实现POST的方法,涉及Python实现curl传递post数据的技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-07-07
相信每位python都知道，进行不同的python项目开发，有的时候会遇到这样的情况：python 版本不一样，使用的软件包版本不一样。这种问题最佳的解决办法是为不同的项目搭建独立的 python 环境。下面来一起看看吧。2016-09-09
pandas对dataFrame中某一个列的数据进行处理的方法
这篇文章主要介绍了pandas对dataFrame中某一个列的数据进行处理的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
python 办公自动化——基于pyqt5和openpyxl统计符合要求的名单
前几天接到的一个需求，因为学校给的名单是青年大学习已学习的名单，然而要知道未学习的名单只能从所有团员中再排查一次，过程相当麻烦。刚好我也学过一些操作办公软件的基础，再加上最近在学pyqt5，所以我决定用python写个自动操作文件的脚本给她用用。2021-05-05
最新评论