Python实现前向和反向自动微分的示例代码

更新时间：2022年12月29日 11:15:18 作者：orion-orion

自动微分技术（称为“automatic differentiation, autodiff”）是介于符号微分和数值微分的一种技术，它是在计算效率和计算精度之间的一种折衷。本文主要介绍了Python如何实现前向和反向自动微分，需要的可以参考一下

1 自动微分

我们在《数值分析》课程中已经学过许多经典的数值微分方法。许多经典的数值微分算法非常快，因为它们只需要计算差商。然而，他们的主要缺点在于他们是数值的，这意味着有限的算术精度和不精确的函数求值，而这些都从根本上限制了求解结果的质量。因此。充满噪声的、复杂多变的函数很难得到精准的数值微分。

自动微分技术（称为“automatic differentiation, autodiff”）是介于符号微分和数值微分的一种技术，它是在计算效率和计算精度之间的一种折衷。自动微分不受任何离散化算法误差的约束，它充分利用了微分的链式法则和其他关于导数的性质来准确地计算它们。

2 前向自动微分

我们先来计算简单的前向自动微分。假设我们有两个变量u和v，使用浮点数存储。我们将变量u′=du/dt和v′=dv/dt和这些变量一起存储，这里tt是独立的变量。在一些程序设计语言(如Python)中，我们可以选择定义一种新的数据类型来存储[u,u′]和[v,v′]这类数对。我们可以在这些数对上定义一种代数运算，这些代数运算编码了一些经典的操作：

在进行前向自动微分之前，我们需要先将计算f(t)所产生的操作序列表示为计算图。接着，采用自底向上的递推算法的思想，从做为递推起点的数对t≡[t0,1](因为dt/dt=1)开始，我们能够按照我们上述编码规则同时对函数f(t)和它的导数f′(t)进行求值。我们在编程语言中可以选择令数对重载运算符，这样额外的求导数运算就可以对用户透明地执行了。

例1 比如，对于函数f(x)=exp⁡(x²−x)/x，想要依次计算dy_i/dx（这里y_i为所有计算中间项）。则我们先从x开始将表达式分解为计算图：

然后前向递推地按照我们之前所述的编码规则来进行求导

注意链式法则（chain rule）告诉我们：

(f(g(x)))′=f′(g(x))⋅g′(x)

所以我们对

y_k=g(y_i)

有

y′_k=g′(y_i)⋅y_i′

事实上，我们也能够处理有多个输入的函数g：

k=g(y_i,⋯,y_j)

多元微分链式法则如下：

比如，对于

我们有

下面展示了一个对二元函数模拟前向自动微分的过程。

例2 设(x₁,x₂)=x₁⋅exp⁡(x₂)−x₁，模拟前向微分过程。

接下来我们看如何用Python代码来实现单变量函数的前向自动微分过程。为了简便起见，我们下面只编码了几个常用的求导规则。

import math

class Var:
    def __init__(self, val, deriv=1.0):
        self.val = val
        self.deriv = deriv
    
    def __add__(self, other):
        if isinstance(other, Var):
            val = self.val + other.val
            deriv = self.deriv + other.deriv
        else:
            val = self.val + other
            deriv = self.deriv
        return Var(val, deriv)
    
    def __radd__(self, other):
        return self + other

    def __sub__(self, other):
        if isinstance(other, Var):
            val = self.val - other.val
            deriv = self.deriv - other.deriv
        else:
            val = self.val - other
            deriv = self.deriv
        return Var(val, deriv)
    
    def __rsub__(self, other):
        val = other - self.val
        deriv = - self.deriv
        return Var(val, deriv)

    def __mul__(self, other):
        if isinstance(other, Var):
            val = self.val * other.val
            deriv = self.val * other.deriv + self.deriv * other.val
        else:
            val = self.val * other
            deriv = self.deriv * other
        return Var(val, deriv)
    
    def __rmul__(self, other):
        return self * other

    def __truediv__(self, other):
        if isinstance(other, Var):
            val = self.val / other.val
            deriv = (self.deriv * other.val - self.val * other.deriv)/other.val**2
        else:
            val = self.val / other
            deriv = self.deriv / other
        return Var(val, deriv)

    def __rtruediv__(self, other):
        val = other / self.val
        deriv = other * 1/self.val**2
        return Var(val, deriv)
    
    def __repr__(self):
        return "value: {}\t gradient: {}".format(self.val, self.deriv)
        

def exp(f: Var):
    return Var(math.exp(f.val), math.exp(f.val) * f.deriv)

例如，我们若尝试计算函数f(x)=exp⁡(x²−x)/x在x=2.0处的导数f′(2.0)如下：

fx = lambda x: exp(x*x - x)/x
df = fx(Var(2.0))
print(df)

打印输出：

value: 3.694528049465325 deriv: 9.236320123663312

可见，前向过程完成计算得到f(2.0)≈3.69, f′(2.0)≈9.24。

3 反向自动微分

我们前面介绍的前向自动微分方法在计算y=f(t)的时候并行地计算f′(t)。接下来我们介绍一种“反向”自动微分方法，相比上一种的方法它仅需要更少的函数求值，不过需要以更多的内存消耗和更复杂的实现做为代价。

同样，这个技术需要先将计算f(t)所产生的操作序列表示为计算图。不过，与之前的从dt/dt=1开始，然后往dy/dt方向计算不同，反向自动求导算法从dy/dy=1开始并且按与之前同样的规则往反方向计算，一步步地将分母替换为dt。反向自动微分可以避免不必要的计算，特别是当y是一个多元函数的时候。例如，对f(t1,t2)=f1(t1)+f2(t2)，反向自动微分并不需要计算f1关于t2的微分或f2关于t1的微分。

例3 设f(x₁,x₂)=x₁⋅exp(x₂)−x₁，模拟反向自动微分过程。

可见若采用反向自动微分，我们需要存储计算过程中的所有东西，故内存的使用量会和时间成正比。不过，在现有的深度学习框架中，对反向自动微分的实现进行了进一步优化，我们会在深度学习专题文章中再进行详述。

4 总结

自动微分被广泛认为是一种未被充分重视的数值技术，它可以以尽量小的执行代价来产生函数的精确导数。它在软件需要计算导数或Hessian来运行优化算法时显得格外有价值，从而避免每次目标函数改变时都去重新手动计算导数。当然，做为其便捷性的代价，自动微分也会带来计算的效率问题，因为在实际工作中自动微分方法并不会去化简表达式，而是直接应用最显式的编码规则。

到此这篇关于Python实现前向和反向自动微分的示例代码的文章就介绍到这了,更多相关Python自动微分内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

详解supervisor使用教程
supervisor是用python写的一个进程管理工具，用来控制进程，本文为大家介绍一下supervisor使用教程，希望能够帮助到你。
2017-11-11
使用Python做定时任务及时了解互联网动态
这篇文章主要介绍了使用Python做定时任务及时了解互联网动态,需要的朋友可以参考下
2019-05-05
python用什么编辑器进行项目开发
在本篇文章里小编给大家整理的是一篇关于python开发用的编辑器详细介绍，有需要的朋友们可以参考下哎。
2020-06-06
python中的super如何使用
这篇文章主要介绍了python中的super,python中的super，名为超类，可以简单的理解为执行父类的__init__函数，本文就着重看下super的具体作用，需要的朋友可以参考下
2022-03-03
Playwright元素截图并保存至allure的实现示例
在UI自动化测试中，我们经常需要获取屏幕截图，本文就介绍一下Playwright元素截图并保存至allure的实现示例，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-12-12
Python学习之迭代器详解
这篇文章主要介绍了Python中的一个新的概念，那就是迭代器。迭代器的使用可以帮助我们提升代码的性能，接下来让我们深入了解一下迭代器吧
2022-04-04
python使用for...else跳出双层嵌套循环的方法实例
这篇文章主要给大家介绍了关于python使用for...else跳出双层嵌套循环的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
2020-05-05
关于pyqt5弹出提示框的详细介绍
在实际的程序开发中经常会用到各种各样的消息框来给用户一些提示或提醒,下面这篇文章主要给大家介绍了关于pyqt5弹出提示框的详细介绍,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2022-08-08
python 打印出所有的对象/模块的属性(实例代码)
下面小编就为大家带来一篇python 打印出所有的对象/模块的属性(实例代码)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2016-09-09
在echarts中图例legend和坐标系grid实现左右布局实例
这篇文章主要介绍了在echarts中图例legend和坐标系grid实现左右布局实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-05-05