Python人工智能深度学习模型训练经验总结
一、假如训练集表现不好
1.尝试新的激活函数
ReLU：Rectified Linear Unit
图像如下图所示：当z<0时，a = 0, 当z>0时，a = z，也就是说这个激活函数是对输入进行线性转换。使用这个激活函数，由于有0的存在，计算之后会删除掉一些神经元，使得神经网络变窄。
该函数也有其他变体，如下图所示，主要是对于z小于0的时候，对应
Maxout：以上几种函数的一般形式
简单来说就是谁大输出谁，通过Maxout可以自己学习激活函数。当给出的参数不同的时候，可以得到上面所描述的各类函数。如下图所示，当输入给1个计算单元时，得到蓝色的线，假如第二个计算单元参数均为0，则是X轴上的一条线，那么在这两个之中取大的那个，就是ReLU；当第二个计算单元参数不为0的时候，就可以得到其他形式的结果。
2.自适应学习率
①Adagrad
Adagrad是使用前面的梯度进行平方和再开方，作为计算梯度时系数的一部分。
②RMSProp
是Adagrad的进阶版，在Adagrad中，是使用了前面所有的梯度平方和再开方，这个系数中没有考虑当前的梯度。在RMSProp中，是考虑了现在的梯度，也对其进行平方，并对两项进行一个权重的分配。
③ Momentum
加入动量的梯度下降
下图中，v就是上一次的方向。在计算本次方向的时候，加入lambda倍的上一次的方向。其实v就是过去算出来的所有的梯度的总和。
④Adam
将RMSProp和Momentum结合
二、在测试集上效果不好
1.提前停止
通过交叉验证集，提前停止训练
2.正则化
和其他的算法正则化方式一致，有L1和L2正则，此处不再详细描述。
3.Dropout
每次训练的时候，都以p%的几率去掉一些神经元以及输入值。得到如下图所示的更瘦一些的神经网络。直接去训练这个神经网络。下一次训练的时候，对整个网络重新进行采样。（类似于随机森林）
在测试的时候不进行dropout，如果训练的时候的dropout几率是p%，那么在测试集上，所有的权重都乘上(1-p)%
以上就是Python人工智能深度学习模型训练经验总结的详细内容，更多关于Python人工智能模型训练经验的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要介绍了Python 强制限定小数点位数的操作方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
PyWebIO提供了一系列命令式的交互函数来在浏览器上获取用户输入和进行输出，将浏览器变成了一个“富文本终端”，可以用于构建简单的Web应用或基于浏览器的GUI应用。本文将利用PyWebIO制作一个网页版的数据查询器，感兴趣的可以学习一下2021-12-12
今天小编就为大家分享一篇django 删除数据库表后重新同步的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
Django定制Admin页面详细实例(展示页面和编辑页面)
django自带的admin因为功能和样式比较简陋,常常需要再次定制,下面这篇文章主要给大家介绍了关于Django定制Admin页面(展示页面和编辑页面)的相关资料,需要的朋友可以参考下2023-06-06
这篇文章主要介绍了python 正则表达式的使用，Python 中正则表达式应用非常广泛,如数据挖掘、数据分析、网络爬虫、输入有效性验证等,Python 也提供了利用正则表达式实现文本的匹配、查找和替换等操作的 re 模块，下面和小编一起进入文章了解具体内容吧2021-10-10
这篇文章主要为大家介绍一个Python暴力破解网站登录密码脚本(带token验证)，文中的过程讲解详细，对我们学习Python有一定的帮助，感兴趣的可以学习一下2022-02-02
这篇文章主要介绍了Python实现不规则图形填充的思路，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
Python读取大量Excel文件并跨文件批量计算平均值的方法
这篇文章主要介绍了Python读取大量Excel文件并跨文件批量计算平均值,介绍基于Python语言，实现对多个不同Excel文件进行数据读取与平均值计算的方法，需要的朋友可以参考下2023-02-02
直方图均衡化可以达到增强图像显示效果的目的。最常用的比如去雾。本文就来实现直方图均衡化实现图像去雾，感兴趣的可以了解一下2021-06-06
这篇文章主要为大家详细介绍了python实现kMeans算法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-12-12
最新评论