pyTorch深度学习softmax实现解析
更新时间：2021年09月30日 11:24:32 作者：算法菜鸟飞高高
这篇文章主要介绍了pytorch深度学习中对softmax实现进行了详细解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步
用PyTorch实现linear模型
模拟数据集
num_inputs = 2 #feature number num_examples = 1000 #训练样本个数 true_w = torch.tensor([[2],[-3.4]]) #真实的权重值 true_b = torch.tensor(4.2) #真实的bias samples = torch.normal(0,1,(num_examples,num_inputs)) noise = torch.normal(0,0.01,(num_examples,1)) labels = samples.matmul(true_w) + true_b + noise
定义模型
class LinearNet(nn.Module): def __init__(self,in_features): super().__init__() self.fc = nn.Linear(in_features=2,out_features=1) def forward(self,t): t = self.fc(t) return t
加载数据集
import torch.utils.data as Data dataset = Data.TensorDataset(samples,labels)#类似于zip，把两个张量打包 data_loader = Data.DataLoader(dataset,batch_size=100,shuffle=True)
optimizer
network = LinearNet(2) optimizer = optim.SGD(network.paramters(),lr=0.05)
模型训练
for epoch in range(10):
total_loss = 0
for data,label in data_loader:
predict = network(data)
loss = F.mse_loss(predict,label)
total_loss += loss.item()
optimizer.zero_grad()
loss.backward()
optimizer.step()
print(
'epoch',epoch,
'loss',total_loss,
'weight',network.weight,
'bias',network.bias
)
softmax回归模型
sotfmax主要用于分类任务。regression最终得到的是一个scalar，根据input中的feature线性相加得到一个output。分类任务的结果是一个类别，是离散的。
假设现在有一批图片是2 * 2大小的灰度图片，这样图片中的每隔二像素用一个标量表示就行了。这批图片一种是三类小动物，第一类是小狗，第二类是小猫，第三类是小兔子。
每张图片总共4个像素点，我们可以看作是4个feature，假设这三类小动物的图片线性可分，每一类对应一组weight和一个bias。
可以根据输出值较大的来决定哪一类，可这样有个问题，首先输出值没有明确的意义，且可能是实数范围。其次，不好衡量输出值与真实值之间的差距。所以采用softmax操作，将三个输出值转化成概率值，这样输出结果满足概率分布。label采用one-hot编码，相当于对应类别的概率是1，这样就可以用cross_entropy来计算loss。
Fashion-MNIST
本次学习softmax模型采用torchvision.datasets中的Fashion-MNIST。
import torchvision import torchvision.transforms as transforms train_set = torchvision.datasets.FashionMNIST( root='./data', train=True, download=True, transform=transforms.ToTensor() )
transforms.ToTensor()将尺寸为（H x W x C）且数据位于（0，255）的PIL图片或者数据类型为np.uint8的NumPy数组转换为尺寸为C x H x W且数据类型为torch.float32且位于（0.0，1.0）的Tensor
len(train_set),len(test_set) > (60000,10000)
展示一下数据集中的图片
import matplotlib.pyplot as plt
plt.figure(figsize=(10,10))
for i,(image,lable) in enumerate(train_set,start=1):
plt.subplot(1,10,i)
plt.imshow(image.squeeze())
plt.title(train_set.classes[lable])
plt.axis('off')
if i == 10:
break
plt.show()
train_loader = torch.utils.data.DataLoader(train_set,batch_size=100,shuffle=True,num_workers=4) test_loader = torch.utils.data.DataLoader(test_set,batch_size=100,shuffle=False,num_workers=1)
cross_entropy
def net(samples,w,b): samples = samples.flatten(start_dim=1) #将c,h,w三个轴展成一个feature轴，长度为28 * 28 samples = torch.exp(samples)#全体元素取以e为底的指数 partial_sum = samples.sum(dim=1,keepdim=True) samples = samples / partial_sum #归一化，得概率，这里还应用了广播机制 return samples.matmul(w) + b
i表示label对应的种类，pi为真实种类的预测概率，log是以e为底的对数
这里gather函数的作用，就是在predict上取到对应label的概率值，注意负号不能丢，pytorch中的cross_entropy对输入先进行一次softmax操作，以保证输入都是正的。
模型的实现
def net(samples,w,b): samples = samples.flatten(start_dim=1) #将c,h,w三个轴展成一个feature轴，长度为28 * 28 samples = torch.exp(samples)#全体元素取以e为底的指数 partial_sum = samples.sum(dim=1,keepdim=True) samples = samples / partial_sum #归一化，得概率，这里还应用了广播机制 return samples.matmul(w) + b
利用PyTorch简易实现softmax
import torch
import torchvision
import torch.nn as nn
import torch.nn.functional as F
import torch.utils.data as Data
import torchvision.transforms as transforms
import torch.optim as optim
import torch.nn.init as init
class SoftmaxNet(nn.Module):
def __init__(self,in_features,out_features):
super().__init__()
self.fc = nn.Linear(in_features=in_features,out_features=out_features)
def forward(self,t):
t = t.flatten(start_dim=1)
t = self.fc(t)
return t
train_set = torchvision.datasets.FashionMNIST(
root='E:\project\python\jupyterbook\data',
train=True,
download=True,
transform=transforms.ToTensor()
)
test_set = torchvision.datasets.FashionMNIST(
root='E:\project\python\jupyterbook\data',
train=False,
download=True,
transform=transforms.ToTensor()
)
train_loader = Data.DataLoader(
train_set,
batch_size=100,
shuffle=True,
#num_workers=2
)
test_loader = Data.DataLoader(
test_set,
batch_size=100,
shuffle=False,
#num_workers=2
)
@torch.no_grad()
def get_correct_nums(predict,labels):
return predict.argmax(dim=1).eq(labels).sum().item()
@torch.no_grad()
def evaluate(test_loader,net,total_num):
correct = 0
for image,label in test_loader:
predict = net(image)
correct += get_correct_nums(predict,label)
pass
return correct / total_num
network = SoftmaxNet()
optimizer = optim.SGD(network.parameters(),lr=0.05)
for epoch in range(10):
total_loss = 0
total_correct = 0
for image,label in train_loader:
predict = network(image)
loss = F.cross_entropy(predict,label)
total_loss += loss.item()
total_correct += get_correct_nums(predict,label)
optimizer.zero_grad()
loss.backward()
optimizer.step()
pass
print(
'epoch',epoch,
'loss',total_loss,
'train_acc',total_correct / len(train_set),
'test_acc',evaluate(test_loader,network,len(test_set))
)
以上就是pytorch深度学习softmax实现解析的详细内容，更多关于pytorch深度学习的资料请关注脚本之家其它相关文章！
相关文章
Python利用wxPython模块打造ChatGPT式打字效果程序
这篇文章主要为大家介绍了如何利用Python和wxPython模块打造一个ChatGPT式打字效果程序，从而增强用户体验或提高应用程序的可读性，感兴趣的可以了解一下2023-05-05
Python保存dict字典类型数据到Mysql并自动创建表与列
这篇文章主要介绍了Python保存dict字典类型数据到Mysql并自动创建表与列，字典是另一种可变容器模型，且可存储任意类型对象，想了解更多内容的小伙伴可以和小编一起进入下面文章学习更多内容，希望对你有所帮助2022-02-02
这篇文章主要介绍了Python爬虫之教你利用Scrapy爬取图片,文中有非常详细的代码示例,对正在学习python的小伙伴们有非常好的帮助,需要的朋友可以参考下2021-04-04
这篇文章主要介绍了python 如何设置守护进程，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2020-10-10
这篇文章主要给大家介绍了关于Python通过命令提示符安装matplotlib的相关资料,文中还介绍了离线安装这一种方法,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2021-11-11
这篇文章主要介绍了Python @property装饰器的用法，在Python中，可以通过@property装饰器将一个方法转换为属性，从而实现用于计算的属性，下面文章围绕主题展开更多相关详情，感兴趣的小伙伴可以参考一下2022-12-12
这篇文章主要介绍了详解Python修复遥感影像条带的两种方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
这篇文章主要介绍了Python列表的定义及使用，在Python中，列表是由一系列元素按照特定的顺序构成的数据结构，也就是说列表类型的变量可以存储多个数据，且可以重复，下面一起进入文章学习学习内容,需要的朋友可以参考一下2021-11-11
这篇文章主要介绍了Python实现PS滤镜功能之波浪特效,结合实例形式分析了Python实现PS滤镜波浪特效的原理与相关操作技巧,需要的朋友可以参考下2018-01-01
在python2.7中用numpy.reshape 对图像进行切割的方法
今天小编就为大家分享一篇在python2.7中用numpy.reshape 对图像进行切割的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
最新评论