解读keras中的正则化(regularization)问题
更新时间：2022年12月15日 16:52:51 作者：Cold__Heart
这篇文章主要介绍了解读keras中的正则化(regularization)问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
keras中正则化(regularization)
keras内置3种正则化方法
keras.regularizers.l1(lambda) keras.regularizers.l2(lambda) keras.regularizers.l1_l2(l1=lambda1, l2=lambda2)
目前我的理解是lambda越大，对参数的约束就越强，也就是惩罚力度越大。
其中L1正则化方法，是对|w|进行惩罚，使得w趋近0
而L2正则化方法，是对w2进行惩罚，使得w尽可能小
Dense，Conv1D，Conv2D，Conv3D有统一的正则化API，见keras中文文档。
3个正则化关键字
1. kernel_regularizer
对权值进行正则化，大多数情况下使用这个
2. bias_regularizer
限制bias的大小，使得输入和输出接近
3. activity_regularizer
对输出进行正则化，使得输出尽量小
keras中添加正则化
正则项
正则项在优化过程中层的参数或层的激活值添加惩罚项，这些惩罚项将与损失函数一起作为网络的最终优化目标
惩罚项基于层进行惩罚，目前惩罚项的接口与层有关，但Dense, Conv1D, Conv2D, Conv3D具有共同的接口。
这些层有三个关键字参数以施加正则项：
kernel_regularizer：施加在权重上的正则项，为keras.regularizer.Regularizer对象bias_regularizer：施加在偏置向量上的正则项，为keras.regularizer.Regularizer对象activity_regularizer：施加在输出上的正则项，为keras.regularizer.Regularizer对象
例子
from keras import regularizers model.add(Dense(64, input_dim=64, kernel_regularizer=regularizers.l2(0.01), activity_regularizer=regularizers.l1(0.01)))
可用正则项
keras.regularizers.l1(0.) keras.regularizers.l2(0.) keras.regularizers.l1_l2(0.)
开发新的正则项
任何以权重矩阵作为输入并返回单个数值的函数均可以作为正则项，示例：
from keras import backend as K def l1_reg(weight_matrix): return 0.01 * K.sum(K.abs(weight_matrix)) model.add(Dense(64, input_dim=64, kernel_regularizer=l1_reg)
可参考源代码keras/regularizer.py
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python 整数越界问题详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-06-06
解决Pycharm下面出现No R interpreter defined的问题
今天小编就为大家分享一篇解决Pycharm下面出现No R interpreter defined的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
这篇文章主要为大家详细介绍了python使用pygame实现笑脸乒乓球弹珠球游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-11-11
这篇文章主要给大家介绍了关于Python排序函数使用的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
这篇文章主要为大家详细介绍了opencv实现图片模糊和锐化操作，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-11-11
这篇文章主要介绍了Python实现随机创建电话号码的方法,涉及Python随机数运算相关操作技巧,需要的朋友可以参考下2018-12-12
这篇文章介绍了Python字节串类型bytes及用法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-05-05
今天小编就为大家分享一篇python dataframe 输出结果整行显示的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
这篇文章主要介绍了python基础之文件操作,文中有非常详细的代码示例,对正在学习python的小伙伴们有一定的帮助,需要的朋友可以参考下2021-04-04
这篇文章主要为大家详细介绍了如何使用Python的os和shutil库实现自动化查找和移动图片功能,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下2025-02-02
最新评论