利用pandas向一个csv文件追加写入数据的实现示例
更新时间：2020年04月23日 10:56:15 作者：数据之美ya
这篇文章主要介绍了利用pandas向一个csv文件追加写入数据的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
我们越来越多的使用pandas进行数据处理，有时需要向一个已经存在的csv文件写入数据，传统的方法之前我也有些过，向txt，excel文件写入数据，传送门：Python将二维列表（list）的数据输出（TXT，Excel）
pandas to_csv()只能在新文件写数据？当然不是！
pandas to_csv() 是可以向已经存在的具有相同结构的csv文件增加dataframe数据。
df.to_csv('my_csv.csv', mode='a', header=False)
to_csv()方法mode默认为w，我们加上mode='a'，便可以追加写入数据。
pandas读写文件，处理数据的效率太高了，所以我们尽量使用pandas的进行输出。
下面让我们来看一下示例
# -*- coding:utf-8 -*-
import os
import time
import pandas as pd
from multiprocessing import Pool
def merge(filename):
return pd.read_csv('./fun_data/'+filename)
if __name__ == "__main__":
file_list = os.listdir('./fun_data')
e1 = time.time()
pool = Pool(20)
result = pool.map(merge,file_list)
pool.close()
pool.join()
e2 = time.time()
print(e2 - e1)
for i in result:
i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
e3 = time.time()
print(e3-e2)
到此这篇关于利用pandas向一个csv文件追加写入数据的实现示例的文章就介绍到这了,更多相关pandas csv追加写入内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
有时在数据处理时,需要对数据进行拼接处理,比如字符串的拼接、列表的拼接等,本文主要是介绍了字符串、列表、字典常用的拼接方法,希望对大家有所帮助2024-02-02
这篇文章主要为大家详细介绍了Python使用Pillow添加水印，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-05-05
今天小编就为大家分享一篇python实现从wind导入数据，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
上篇文章我们讲诉了map 和lambda函数的使用,本文我们继续来看看reduce和filter函数，有需要的朋友可以参考下2014-10-10
今天小编就为大家分享一篇Python求两点之间的直线距离(2种实现方法)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
这篇文章主要为大家介绍了加速Python代码执行的利器使用实例探究,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
FFmpeg是业内有名的开源图像视频处理程序,在许多视频剪辑软件、图像处理软件中,都使用的FFmpeg,还有比如OBS这样的导播软件里面也使用了FFmpeg,FFmpeg的功能十分强大,远不止视频压缩的功能,本文介绍使用FFmpeg来无损压缩视频文件的操作方法,感兴趣的朋友一起看看吧2023-12-12
Python可视化mhd格式和raw格式的医学图像并保存的方法
今天小编就为大家分享一篇Python可视化mhd格式和raw格式的医学图像并保存的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
Python打包文件执行报错：ModuleNotFoundError: No module
这篇文章给大家介绍了Python打包文件执行报错：ModuleNotFoundError: No module named ‘pymssql‘的解决方法,如果有遇到相同问题的朋友可以参考阅读一下本文2023-10-10
Python 的 __str__ 和 __repr__ 方法对比
这篇文章主要介绍了Python 的 __str__ 和 __repr__ 方法的相关资料，帮助大家区分__str__ 和 __repr__ ，感兴趣的朋友可以了解下2020-09-09
最新评论