Python实现多项式拟合正弦函数详情

1. 实验目的

掌握最小二乘法求解（无惩罚项的损失函数）、掌握加惩罚项（2 范数）的损失函数优化、梯度下降法、共轭梯度法、理解过拟合、克服过拟合的方法(如加惩罚项、增加样本)

2. 实验要求

生成数据，加入噪声；

用高阶多项式函数拟合曲线；

用解析解求解两种 loss 的最优解（无正则项和有正则项）

优化方法求解最优解（梯度下降，共轭梯度）；

用你得到的实验数据，解释过拟合。

用不同数据量，不同超参数，不同的多项式阶数，比较实验效果。

语言不限，可以用 matlab，python。求解解析解时可以利用现成的矩阵求逆。梯度下降，共轭梯度要求自己求梯度，迭代优化自己写。不许用现成的平台，例如 pytorch，tensorflow 的自动微分工具。

3. 实验内容

3.1 算法原理

本实验需要用多项式来拟合正弦函数。在 m 阶多项式中，有 m+1 个待定系数，m+1 个系数（由低到高）组成的（列）向量记作 w。要确定 w，用最小二乘法。

设 E(w) = 1/2 * (Xw – Y)^T(Xw – Y)，其中，X 为多项式中各个未知项代入观测数据求得的矩阵，若记 Xi 为 X 的第 i 行的向量，则 Xi[j]为第 i 个观测数据 xi 的 j 次方，记有 n 组观测数据，多项式最高次为 m，易知 X 的维度为 n * (m+1)。Y 为观测标签向量。即 Y[j]为第 j 组观测数据的标签值（即 y 值）。从而问题转化为：求向量 w，使得 E(w)最小。

• 若不加入正则项，令损失函数导数为零，求 w
• 若加入正则项，令损失函数导数为零，求 w
• 加入正则项，对损失函数用梯度下降，当损失函数收敛时，求 w
• 加入正则项，对损失函数用共轭梯度法，循环迭代 m+1 次，求 w 3.2 算法实现 生成数据，加入噪声

用高阶多项式函数拟合曲线；

用解析解求解两种 loss 的最优解（无正则项和有正则项）

无正则项：

有正则项：

优化方法求解最优解（梯度下降，共轭梯度）

梯度下降法：

共轭梯度法：

用你得到的实验数据，解释过拟合。

多项式次数为 1 时：

多项式次数为 3 时：

当多项式次数为 5 时：

当多项式次数为 7 时：

当多项式次数为 9 时：

到此这篇关于Python实现多项式拟合正弦函数详情的文章就介绍到这了,更多相关Python拟合正弦函数内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

最新评论