脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → PyTorch损失函数Hessian矩阵

PyTorch计算损失函数对模型参数的Hessian矩阵示例

 更新时间：2022年05月10日 10:59:43   作者：Cyril_KI  
这篇文章主要为大家介绍了PyTorch计算损失函数对模型参数的Hessian矩阵的示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

前言

在实现Per-FedAvg的代码时，遇到如下问题：

在这里插入图片描述


可以发现，我们需要求损失函数对模型参数的Hessian矩阵。

模型定义

我们定义一个比较简单的模型：

class ANN(nn.Module):
    def __init__(self):
        super(ANN, self).__init__()
        self.sigmoid = nn.Sigmoid()
        self.fc1 = nn.Linear(3, 4)
        self.fc2 = nn.Linear(4, 5)

    def forward(self, data):
        x = self.fc1(data)
        x = self.fc2(x)

        return x

输出一下模型的参数：

model = ANN()
for param in model.parameters():
    print(param.size())

输出如下：

torch.Size([4, 3])
torch.Size([4])
torch.Size([5, 4])
torch.Size([5])

求解Hessian矩阵

我们首先定义数据：

data = torch.tensor([1, 2, 3], dtype=torch.float)
label = torch.tensor([1, 1, 5, 7, 8], dtype=torch.float)
pred = model(data)
loss_fn = nn.MSELoss()
loss = loss_fn(pred, label)

然后求解一阶梯度：

grads = torch.autograd.grad(loss, model.parameters(), retain_graph=True, create_graph=True)

输出一下grads：

(tensor([[-1.0530, -2.1059, -3.1589],
        [ 2.3615,  4.7229,  7.0844],
        [-1.5046, -3.0093, -4.5139],
        [-2.0272, -4.0543, -6.0815]], grad_fn=<TBackward0>), tensor([-1.0530,  2.3615, -1.5046, -2.0272], grad_fn=<SqueezeBackward1>), tensor([[ 0.2945, -0.2725, -0.8159, -0.6720],
        [ 0.1936, -0.1791, -0.5362, -0.4416],
        [ 1.0800, -0.9993, -2.9918, -2.4641],
        [ 1.3448, -1.2444, -3.7255, -3.0683],
        [ 1.2436, -1.1507, -3.4450, -2.8373]], grad_fn=<TBackward0>), tensor([-0.6045, -0.3972, -2.2165, -2.7600, -2.5522],
       grad_fn=<MseLossBackwardBackward0>))

可以发现一共4个Tensor，分别为损失函数对四个参数Tensor（两层，每层都有权重和偏置）的梯度。

然后针对每一个Tensor求解二阶梯度：

hessian_params = []
    for k in range(len(grads)):
        hess_params = torch.zeros_like(grads[k])
        for i in range(grads[k].size(0)):
            # 判断是w还是b
            if len(grads[k].size()) == 2:
                # w
                for j in range(grads[k].size(1)):
                    hess_params[i, j] = torch.autograd.grad(grads[k][i][j], model.parameters(), retain_graph=True)[k][i, j]
            else:
                # b
                hess_params[i] = torch.autograd.grad(grads[k][i], model.parameters(), retain_graph=True)[k][i]
        hessian_params.append(hess_params)

这里需要注意：由于模型一共两层，每一层都有权重和偏置，其中权重参数为二维，偏置参数为一维，在进行具体的二阶梯度求导时，需要进行判断。

最终得到的hessian_params是一个列表，列表中包含四个Tensor，对应损失函数对两层网络权重和偏置的二阶梯度。

以上就是PyTorch计算损失函数对模型参数的Hessian矩阵示例的详细内容，更多关于PyTorch计算损失函数Hessian矩阵的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • 如何使用Django默认的Auth权限管理系统

    如何使用Django默认的Auth权限管理系统

    本文主要介绍了如何使用Django默认的Auth权限管理系统，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-02-02
  • Python获取Windows桌面路径的三种方法

    Python获取Windows桌面路径的三种方法

    在日常编程工作中,有时我们需要将文件或数据自动保存到用户的桌面上以便于快速访问,在 Windows 操作系统中,可以通过多种方式来获取桌面路径,本文将详细介绍三种常用的方法,需要的朋友可以参考下
    2024-12-12
  • Python tornado上传文件的功能

    Python tornado上传文件的功能

    这篇文章主要介绍了Python tornado上传文件的功能，代码分为普通上传和ajax上传，通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2020-03-03
  • Python数据标准化的实例分析

    Python数据标准化的实例分析

    在本篇文章里小编给大家整理了关于Python数据标准化的实例内容，有需要的朋友们可以测试学习下。
    2021-08-08
  • 手把手教你怎么用Python实现zip文件密码的破解

    手把手教你怎么用Python实现zip文件密码的破解

    之前在家里的老电脑中,发现一个加密zip压缩包,由于时隔太久忘记密码了,依稀记得密码是6位字母加数字,网上下载了很多破解密码的软件都没有效果,于是想到自己用Python写一个暴力破解密码的脚本,需要的朋友可以参考下
    2021-05-05
  • python流水线框架pypeln的安装使用教程

    python流水线框架pypeln的安装使用教程

    这篇文章主要介绍了python流水线框架pypeln的安装使用教程,通过安装pip install pypeln，基本元素在文中给大家介绍过，需要的朋友可以参考下
    2021-05-05
  • 用python3 返回鼠标位置的实现方法(带界面)

    用python3 返回鼠标位置的实现方法(带界面)

    今天小编就为大家分享一篇用python3 返回鼠标位置的实现方法(带界面)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • Python常用正则函数使用方法详解

    Python常用正则函数使用方法详解

    Python中常用的正则表达式处理函数有re.match(),re.search(),re.sub(),re.split(),re.findall(),re.compile()今天为大家介绍这些函数的使用方法
    2021-10-10
  • python+django快速实现文件上传

    python+django快速实现文件上传

    本篇文章主要介绍了django快速实现文件上传，通过django web框架来实现一些简单的功能，有需要的可以了解一下。
    2016-10-10
  • python高级特性简介

    python高级特性简介

    这篇文章主要介绍了python高级特性的相关内容，其中包括切片，迭代，列表生成式，生成器，迭代器，感兴趣的朋友可以了解下
    2020-08-08

最新评论