pytorch通过训练结果的复现设置随机种子
更新时间：2021年06月01日 08:56:22 作者：tianren9
这篇文章主要介绍了pytorch通过训练结果的复现设置随机种子的操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
通过设置全局随机种子使得每次的训练结果相同可以复现
def seed_torch(seed=2018):
random.seed(seed)
os.environ['PYTHONHASHSEED'] = str(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.backends.cudnn.deterministic = True
这里我主要讲一下模型在复现结果遇到的一些问题。
首先在固定随机种子之后，每次模型训练出来的结果一定是一样的，如果不相同，那么说明训练过程中一定还有一部分随机性操作没有被固定。
将模型参数保存下来，然后加载模型参数进行测试，如果发现结果和训练过程中得到的结果有差异。
这个时候就需要按照以下步骤进行分析：
1、先改变batchsize，看看实验复现的结果是否会发生变化。如果发生变化就说明batchsize会影响模型推理过程中的参数。
2、检查一下forward中有哪些参数跟batchsize有关，或者是不是代码写错了。比如batchsize就会影响LSTM的模型参数的初始化。
3、最后检查测试集划分batch的时候是否都一样。
test_loader = DataLoader(test_dataset, batch_size=batchsize, shuffle=True, num_workers=4, pin_memory=True)
比如这样一行代码，测试集每次都被打乱了，虽然固定了随机种子，但是这样只能保证第k轮的随机种子是一样的，而第1轮和第10轮的随机种子是不一样的。
这样的话，比如模型在第13个epoch收敛，得到的结果在是第13轮的测试集进行测试的，而模型在加载的时候是在第一轮的测试进行测试的，结果自然有差异。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
想学python，这5本书籍你必看！本文为大家推荐了学习python的5本书籍，5本经典书籍，感兴趣的小伙伴们可以参考一下2018-12-12
这篇文章主要为大家介绍了python代码实现小程序的登录案例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加薪2022-04-04
这篇文章收集了一些对开发者非常有帮助的,最好的10款Python IDE,包括Vim,Eclipse with PyDev,Sublime Text,PyCharm等知明Python开发工具2018-09-09
这篇文章主要介绍了Django执行源生mysql语句实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-11-11
这篇文章主要介绍了解决keras模型保存h5文件提示无此目录问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-07-07
最近因为工作需要去研究了下png的压缩，发现转换成webp格式可以小很多，下面给大家分享利用Python将图片批量从png格式转换至WebP格式的方法，下面来一起看看。2016-08-08
这篇文章主要介绍了python数据写入列表并导出折线图，文章以举例展开对文章主题的介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-01-01
这篇文章主要介绍了python获取word文档的总页数的两种方法,文中给出了两种解决方案,两种方案也都各有优缺点,可能也不一定是完全准确的,需要的朋友可以参考下2024-03-03
这篇文章主要介绍了python 模拟贷款卡号生成规则过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
这篇文章主要介绍了Python数据库封装实现代码示例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-09-09
最新评论