脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python 大文件的导入与导出

对python中大文件的导入与导出方法详解

 更新时间：2018年12月28日 11:34:26   作者：pw007992  
今天小编就为大家分享一篇对python中大文件的导入与导出方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

1、csv文件的导入和导出

通过一个矩阵导出为csv文件，将csv文件导入为矩阵

将csv文件导入到一个矩阵中

import numpy 
my_matrix = numpy.loadtxt(open("c:\\1.csv","rb"),delimiter=",",skiprows=0)

将矩阵导出到本地csv中

numpy.savetxt('new.csv', my_matrix, delimiter = ',')

未完待续。。。

也可以使用pickle模块，保存的文件是序列化的

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。

pickle.dump(obj, file, [,protocol])

注解：将对象obj保存到文件file中去。

protocol为序列化使用的协议版本，0：ASCII协议，所序列化的对象使用可打印的ASCII码表示；1：老式的二进制协议；2：2.3版本引入的新二进制协议，较以前的更高效。其中协议0和1兼容老版本的python。protocol默认值为0。

file：对象保存到的类文件对象。file必须有write()接口， file可以是一个以'w'方式打开的文件或者一个StringIO对象或者其他任何实现write()接口的对象。如果protocol>=1，文件对象需要是二进制模式打开的。

pickle.load(file)

注解：从file中读取一个字符串，并将它重构为原来的python对象。

file：类文件对象，有read()和readline()接口。

保存数据

tmpdatapath = "E:\\data\\u_i_matrix.csv" 
savefp = open(tmpdatapath,"w")
pickle.dump(u_i_mat,savefp)
savefp.close();

导入数据

fp_mat = open("E:\\data\\tmpdata\\u_i_matrix.csv","r")
rMat = pickle.load(fp_mat)
fp_mat.close()

追加：将内容通过print输入到文件中

str=”a string to print to file” 
f=open(‘out.txt','w') 
print >>f,str 
f.close()

以上这篇对python中大文件的导入与导出方法详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • 关于jupyter lab安装及导入tensorflow找不到模块的问题

    关于jupyter lab安装及导入tensorflow找不到模块的问题

    这篇文章主要介绍了关于jupyter lab安装及导入tensorflow找不到模块的问题,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2021-03-03
  • Python标准库pathlib操作目录和文件

    Python标准库pathlib操作目录和文件

    这篇文章主要为大家介绍了Python标准库pathlib操作目录和文件的示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步
    2021-11-11
  • Pandas之ReIndex重新索引的实现

    Pandas之ReIndex重新索引的实现

    这篇文章主要介绍了Pandas之ReIndex重新索引的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-06-06
  • pycharm通过ssh连接远程服务器教程

    pycharm通过ssh连接远程服务器教程

    今天小编就为大家分享一篇pycharm通过ssh连接远程服务器教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • Python生成器深度解析如何构建强大的数据处理管道

    Python生成器深度解析如何构建强大的数据处理管道

    这篇文章主要为大家介绍了Python生成器深度解析如何构建强大的数据处理管道，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-06-06
  • Python批量添加图片水印的实现

    Python批量添加图片水印的实现

    水印在很多时候都会使用的到，本文主要介绍了Python批量添加图片水印的实现，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-01-01
  • python多进程及通信实现异步任务的方法

    python多进程及通信实现异步任务的方法

    这篇文章主要介绍了python多进程及通信实现异步任务需求,本人也是很少接触多进程的场景，对于python多进程的使用也是比较陌生的。在接触了一些多进程的业务场景下，对python多进程的使用进行了学习，觉得很有必要进行一个梳理总结，感兴趣的朋友一起看看吧
    2022-05-05
  • darknet框架中YOLOv3对数据集进行训练和预测详解

    darknet框架中YOLOv3对数据集进行训练和预测详解

    这篇文章主要为大家介绍了darknet框架中YOLOv3对数据集进行训练和预测使用详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-11-11
  • Python实现疫情通定时自动填写功能(附代码)

    Python实现疫情通定时自动填写功能(附代码)

    这篇文章主要介绍了Python实现疫情通定时自动填写功能，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2020-05-05
  • python argparse命令行参数解析(推荐)

    python argparse命令行参数解析(推荐)

    Python argparse模块是解析命令行参数的首选方法。解析命令行参数是一个非常常见的任务，Python脚本根据传递的值来执行和操作
    2021-06-06

最新评论