pytorch 如何使用float64训练
更新时间：2021年05月24日 11:33:44 作者：gltangwq
这篇文章主要介绍了pytorch 使用float64训练的操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
pytorch默认使用单精度float32训练模型，
原因在于：
使用float16训练模型，模型效果会有损失，而使用double(float64)会有2倍的内存压力，且不会带来太多的精度提升。
本人，最近遇到需要使用double数据类型训练模型的情况，具体实现需要把模型的权重参数数据类型和输入数据类型全部设置为torch.float64即可。
可使用torch的一个函数，轻松地把模型参数转化为float64
torch.set_default_dtype(torch.float64)
输入类型可使用
tensor.type(torch.float64)
补充：float32和float64的本质区别
首先我们需要知道何为bits和bytes?
bits:名为位数bytes:为字节简单的数就是MB和G的关系！
那么8bits=1bytes，下面是各个单位的相互转化！
那么float32和float64有什么区别呢?
数位的区别一个在内存中占分别32和64个bits，也就是4bytes或8bytes数位越高浮点数的精度越高它会影响深度学习计算效率?
float64占用的内存是float32的两倍，是float16的4倍；
比如对于CIFAR10数据集，如果采用float64来表示，需要60000*32*32*3*8/1024**3=1.4G，光把数据集调入内存就需要1.4G；
如果采用float32，只需要0.7G，如果采用float16，只需要0.35G左右；
占用内存的多少，会对系统运行效率有严重影响；（因此数据集文件都是采用uint8来存在数据，保持文件最小）
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
今天小编就为大家分享一篇解决Python3下map函数的显示问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
这篇文章主要介绍了这可能是最好玩的python GUI入门实例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
这篇文章主要介绍了Python学习笔记之变量与转义符，本文从零开始学习Python,知识点很细,有共同目标的小伙伴可以一起来学习2023-03-03
断点续传和并发是现在很多ftp程序都支持的功能，如果我们用python如何来做断点续传和并发了，今天来看一篇python实现断点续传和并发的ftp程序例子吧，具体如下。2016-09-09
你知道for...in是底层原理是什么样的么？这篇文章就来和大家详细讲一讲Python中迭代器的的相关知识，文中的示例代码讲解详细，感兴趣的可以了解一下2023-04-04
这篇文章主要为大家详细介绍了一个Python最简单的接口自动化框架，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-01-01
这篇文章主要介绍了如何在pycharm中快捷安装pip命令(如pygame)，具有很好的参考价值，希望对大家有所帮助。2021-05-05
今天小编就为大家分享一篇python 多线程串行和并行的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-02-02
这篇文章主要介绍了Python读取Excel绘制直方图,以下将详细介绍如何使用 Python 的 pyecharts、matplotlib 和 seaborn 三个库从 Excel 中读取数据并绘制直方图（Histogram）,需要的朋友可以参考下2025-04-04
本文主要介绍了Python读写二进制文件的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-04-04
最新评论