对pandas写入读取h5文件的方法详解
更新时间：2018年12月28日 10:45:02 作者：hzau_yang
今天小编就为大家分享一篇对pandas写入读取h5文件的方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
1、引言
通过参考相关博客对hdf5格式简要介绍。
hdf5在存储的是支持压缩，使用的方式是blosc，这个是速度最快的也是pandas默认支持的。 使用压缩可以提磁盘利用率，节省空间。 开启压缩也没有什么劣势，只会慢一点点。 压缩在小数据量的时候优势不明显，数据量大了才有优势。 同时发现hdf读取文件的时候只能是一次写，写的时候可以append，可以put，但是写完成了之后关闭文件，就不能再写了， 会覆盖。
另外，为什么单独说pandas，主要因为本人目前对于h5py这个包的理解不是很深入，不知道如果使用该包存pd.DataFrame格式的文件，不像numpy格式文件可以直接存储，因此本人只能依赖pandas自带一些函数进行处理。
2、写入文件
使用函数：pd.HDFStore
import numpy as np
import pandas as pd
####生成9000,0000条数据，9千万条
a = np.random.standard_normal((90000000,4))
b = pd.DataFrame(a)
####普通格式存储：
h5 = pd.HDFStore('/data/stock/test_s.h5','w')
h5['data'] = b
h5.close()
####压缩格式存储
h5 = pd.HDFStore('/data/stock/test_c4.h5','w', complevel=4, complib='blosc')
h5['data'] = b
h5.close()
3、读取文件
使用函数：pd.read_hdf
参数：文件名，key
data=pd.read_hdf('/data/stock/test_c4.h5',key='data')
以上这篇对pandas写入读取h5文件的方法详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python多线程threading创建及使用方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
本文主要介绍了Python内置函数memoryview()的实现示例,它允许你在不复制其内容的情况下操作同一个数组的不同切片,具有一定的参考价值,感兴趣的可以了解一下2024-05-05
在Windows操作系统下安装Python3和OpenCV库后,通过安装并配置PyCharm开发环境,可以直接显示并调用已安装的包,例如使用cv2库的接口进行编程和项目开发,文中通过图文介绍的非常详细,需要的朋友可以参考下2024-10-10
这篇文章主要为大家详细介绍了python logging模块书写日志的方法，并对日志进行分割，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-07-07
这篇文章主要介绍了Python数据可视化库seaborn的使用总结，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2021-11-11
这篇文章主要介绍了python实现文件+参数发送request的实例代码,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-01-01
这篇文章主要介绍了python 类方法/静态方法的相关资料，帮助大家更好的理解和学习python，感兴趣的朋友可以了解下2020-09-09
这篇文章主要介绍了python如何利用turtle绘制正方形，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-07-07
在使用 Python 开发时,建议在开发环境和生产环境下都使用虚拟环境来管理项目的依赖,下面这篇文章主要给大家介绍了关于Python安装及建立虚拟环境的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-06-06
今天小编就为大家分享一篇Python 实现输入任意多个数,并计算其平均值的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
最新评论