python3 如何读取python2的npy文件

 更新时间:2021年03月26日 15:06:45   作者:风吹草地现牛羊的马  
这篇文章主要介绍了python3 读取python2的npy文件操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

python3读取python2打包的npy文件会报错,原因是编码方式不同,所以只要在读取的时候加上编码方式即可。

解决方法

docs_train = np.load('./data/20news_clean/train.txt.npy', allow_pickle=True, encoding='bytes')
docs_test = np.load('./data/20news_clean/test.txt.npy', allow_pickle=True, encoding='bytes')

路径中的文件是python2打包的。

补充:在Python 3中加载Python 2 .npy文件时出错

我有.npy文件,它们是使用Python 2.7.9和Numpy版本1.11.3通过命令创建的np.save('filename')。这些文件是在外部计算机上生成的,该外部计算机是我们研究所的linux集群的一部分。

我将文件复制到本地计算机上,以便通过导入它们np.load('filename.npy')。在我的本地计算机上,我正在运行带有Jupyter-Notebook的Python 3.5.2和Numpy版本1.13.0。

本地操作系统是Ubuntu 16.04.2。

当我尝试在本地加载文件时,出现错误:

ValueError: invalid literal for int() with base 16

浏览了一些Stackoverflow问题后,我尝试使用以下方式指定编码:

np.load('filename.npy',encoding='latin1')

这给出了相同的错误。encoding='bytes'产量:

TypeError: can't multiply sequence by non-int of type 'float'

这是Traceback的较大片段:

/usr/local/lib/python3.5/dist-packages/numpy/lib/npyio.py in load(file, mmap_mode, allow_pickle, fix_imports, encoding)
417       else:
418         return format.read_array(fid, allow_pickle=allow_pickle,
--> 419                     pickle_kwargs=pickle_kwargs)
420     else:
421       # Try a pickle

/usr/local/lib/python3.5/dist-packages/numpy/lib/format.py in read_array(fp, allow_pickle, pickle_kwargs)
638       pickle_kwargs = {}
639     try:
--> 640       array = pickle.load(fp, **pickle_kwargs)
641     except UnicodeError as err:
642       if sys.version_info[0] >= 3:

/usr/local/lib/python3.5/dist-packages/sympy/core/numbers.py in __new__(cls, num, prec)
823         else:
824           _mpf_ = mpmath.mpf(
--> 825             S.NegativeOne**num[0]*num[1]*2**num[2])._mpf_
826     elif isinstance(num, Float):
827       _mpf_ = num._mpf_

TypeError: can't multiply sequence by non-int of type 'float'

我猜想在Python和Numpy版本之间的转换时,编码有问题。关于如何导入文件的任何想法?

解决方案

如中所示,*。npy中数据的存储方式是什么?,.npy文件为字节码,如果您在十六进制编辑器中打开一个字节码,则会看到该文件。

Python 2字节码.pyc,.pyo文件无法在Python 3中运行,因为虚拟机和编译器内部版本已随主要版本更改。

同样,NumPy的C内部结构和字节码编译器在Python 3中也发生了变化,从而破坏了向后兼容性。(这是有意的,因为字节码并不是要持续那么长时间,或者不能与所创建的版本一起使用。)

这些变更的组成意味着,如果不对Python 3的字节码解释器和Python 3的NumPy进行大的更改,和/或从Python 2 NumPy字节码到Python 3的转译器,则无法使用这些Python 2 .npy文件。 Python 3。

正如我之前提到的,这有点像X / Y问题。您不应该依赖.npy文件在各个版本之间工作,因为不能保证它们会保持一致,因为它们本质上是易失性格式(例如Python VM字节码)。

与其对字节码进行逆向工程以对其进行调试,不如尝试获取生成这些文件的源。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。

相关文章

  • python粘包问题及socket套接字编程详解

    python粘包问题及socket套接字编程详解

    这篇文章主要介绍了python粘包问题及socket套接字编程详解,之所以出现粘包,是因为两个数据非常小,然后间隔时间又短,或数据太大,一次取不完,下一次还会取这个大数据,需要的朋友可以参考下
    2019-06-06
  • Python爬取APP下载链接的实现方法

    Python爬取APP下载链接的实现方法

    这篇文章主要实现的是批量下载安卓APP。显然用手点是不科学的。于是尝试用Python写了一个半自动化的脚本。所谓半自动化,就是把下载链接批量抓取下来,然后一起贴到迅雷里进行下载,这样可以快速批量下载。有需要的朋友们可以一起看看吧。
    2016-09-09
  • Python基本结构之判断语句的用法详解

    Python基本结构之判断语句的用法详解

    在程序的设计当中,代码并不是逐步按照顺序进行执行的,在运行到某一行代码当中,需要停下进行判断接下来将要运行到那一个分支代码,这种判断就代表的是分支结构。分支结构是可以使用 if 语句来进行判断的,而我们本篇博客讲的也是 if 语句,需要的可以了解一下
    2022-07-07
  • Python中的集合一起来学习一下

    Python中的集合一起来学习一下

    这篇文章主要为大家详细介绍了Python集合,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助
    2022-03-03
  • Python基于机器学习方法实现的电影推荐系统实例详解

    Python基于机器学习方法实现的电影推荐系统实例详解

    这篇文章主要介绍了Python基于机器学习方法实现的电影推荐系统,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-06-06
  • Python学习之Django的管理界面代码示例

    Python学习之Django的管理界面代码示例

    这篇文章主要介绍了Python学习之Django的管理界面代码示例,分享了相关代码示例,小编觉得还是挺不错的,具有一定借鉴价值,需要的朋友可以参考下
    2018-02-02
  • 使用python实现ANN

    使用python实现ANN

    这篇文章主要为大家详细介绍了使用python实现ANN的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-12-12
  • 使用Matplotlib创建自定义可视化图表的方法小结

    使用Matplotlib创建自定义可视化图表的方法小结

    Matplotlib 是 Python 中最流行的绘图库之一,它提供了丰富的功能和灵活性,使用户能够创建各种类型的可视化图表,本文将介绍如何使用 Matplotlib 中的各种功能和技巧来创建自定义的可视化图表,文中通过代码示例讲解的非常详细,需要的朋友可以参考下
    2024-05-05
  • Python实现超快窗口截图功能详解

    Python实现超快窗口截图功能详解

    这篇文章主要为大家详细介绍了如何利用Python语言实现超快窗口截图功能,可以自动获取当前活动窗口并展示截图,感兴趣的可以了解一下
    2022-05-05
  • Python正则表达式急速入门(小结)

    Python正则表达式急速入门(小结)

    这篇文章主要介绍了Python正则表达式急速入门(小结),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-12-12

最新评论