Python数据存储之 h5py详解
更新时间：2019年12月26日 16:07:03 作者：鼹鼠的胡须
今天小编就为大家分享一篇Python数据存储之 h5py详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
1、Python数据存储（压缩）
（1）numpy.save , numpy.savez , scipy.io.savemat
numpy和scipy内建的数据存储方式。
（2）cPickle + gzip
cPickle是pickle内建的数据存储方式，gzip是常用的文件压缩模块。
（3）h5py
h5py是对HDF5文件格式进行读写的python包，关于h5py更多介绍与安装，参考官方网站
关于HDF5，参考官方网站。：
一个HDF5文件就是一个由两种基本数据对象（groups and datasets）存放多种科学数据的容器：
HDF5 dataset: 数据元素的一个多维数组以及支持元数据（metadata）； HDF5 group: 包含0个或多个HDF5对象以及支持元数据（metadata）的一个群组结构；
总之，dataset是类似于数组的数据集，而group是类似文件夹一样的容器，存放dataset和其他group；group和dataset在h5py中的使用有点类似于词典和Numpy中数组的用法。
h5py的优势：速度快、压缩效率高，总之，numpy.savez和cPickle存储work或不work的都可以试一试h5py！
2、h5py读取和存储数据示例
import h5py
X= np.random.rand(100, 1000, 1000).astype('float32')
y = np.random.rand(1, 1000, 1000).astype('float32')
# Create a new file
f = h5py.File('data.h5', 'w')
f.create_dataset('X_train', data=X)
f.create_dataset('y_train', data=y)
f.close()
# Load hdf5 dataset
f = h5py.File('data.h5', 'r')
X = f['X_train']
Y = f['y_train']
f.close()
详细使用方法，参考官网。
以上这篇Python数据存储之 h5py详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Pytorch使用PIL和Numpy将单张图片转为Pytorch张量方式
这篇文章主要介绍了Pytorch使用PIL和Numpy将单张图片转为Pytorch张量方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
这篇文章主要介绍了python入门课程第一讲之安装与优缺点，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-09-09
今天小编就为大家分享一篇关于Python玩转Excel的读写改实例，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-02-02
这篇文章主要介绍了python3中str（字符串）的使用教程，文中介绍的非常详细，对python3中各种str字符串的操作都包含这篇文章中了，需要的朋友可以参考学习，下面来一起看看吧。2017-03-03
Pandas如何对Categorical类型字段数据统计实战案例
这篇文章主要介绍了Pandas如何对Categorical类型字段数据统计实战案例，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-08-08
这篇文章主要介绍了Cpython解释器中的GIL全局解释器锁的相关资料，帮助大家更好的了解Cpython解释器，感兴趣的朋友可以了解下2020-11-11
这篇文章主要介绍了Win10环境中如何实现python2和python3并存,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
python3解析库BeautifulSoup4的安装配置与基本用法
简单来说，BeautifulSoup就是Python的一个HTML或XML的解析库，我们可以用它来方便地从网页中提取数据，下面这篇文章主要给大家介绍了关于python3解析库BeautifulSoup4的安装配置与基本用法的相关资料，需要的朋友可以参考下2018-06-06
今天小编就为大家分享一篇PyCharm代码整体缩进,反向缩进的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
Python通过pytesseract库实现识别图片中的文字
Pytesseract是一个Python的OCR库，它可以识别图片中的文本并将其转换成文本形式。本文就来用pytesseract库实现识别图片中的文字，感兴趣的可以了解一下2023-05-05
最新评论