利用pandas向一个csv文件追加写入数据的实现示例
更新时间：2020年04月23日 10:56:15 作者：数据之美ya
这篇文章主要介绍了利用pandas向一个csv文件追加写入数据的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
我们越来越多的使用pandas进行数据处理，有时需要向一个已经存在的csv文件写入数据，传统的方法之前我也有些过，向txt，excel文件写入数据，传送门：Python将二维列表（list）的数据输出（TXT，Excel）
pandas to_csv()只能在新文件写数据？当然不是！
pandas to_csv() 是可以向已经存在的具有相同结构的csv文件增加dataframe数据。
df.to_csv('my_csv.csv', mode='a', header=False)
to_csv()方法mode默认为w，我们加上mode='a'，便可以追加写入数据。
pandas读写文件，处理数据的效率太高了，所以我们尽量使用pandas的进行输出。
下面让我们来看一下示例
# -*- coding:utf-8 -*-
import os
import time
import pandas as pd
from multiprocessing import Pool
def merge(filename):
return pd.read_csv('./fun_data/'+filename)
if __name__ == "__main__":
file_list = os.listdir('./fun_data')
e1 = time.time()
pool = Pool(20)
result = pool.map(merge,file_list)
pool.close()
pool.join()
e2 = time.time()
print(e2 - e1)
for i in result:
i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
e3 = time.time()
print(e3-e2)
到此这篇关于利用pandas向一个csv文件追加写入数据的实现示例的文章就介绍到这了,更多相关pandas csv追加写入内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
Flask是一个轻量级的Web服务器网关接口（WSGI）web应用框架，本文将和大家一起详细探讨一下Python Flask Web服务，需要的小伙伴可以学习一下2023-06-06
本文主要介绍了python3操作redis实现List列表实例，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-08-08
这篇文章主要介绍了如何用python绘制桃花树，帮助大家更好的使用python处理图片，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-08-08
这篇文章主要介绍了django中celery的定时任务使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-09-09
这篇文章主要介绍了Python ttkbootstrap的介绍与使用,本文仅仅简单介绍了ttkbootstrap的使用，而ttkbootstrap可以使我们创建一个简单用户图形界面，并对其可以做一些操作，需要的朋友可以参考下2023-03-03
今天小编就为大家分享一篇python-opencv颜色提取分割方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍的是基于Python 优化 MUI标题栏，一个特色鲜明MUI界面无疑是能够吸引用户的关键之一，这利用css和JavaScript可以很快进行实现，但是同时对于初学者来说也是困难的，下面文章就来学习几个简单的小技巧实现页面美化吧,需要的朋友可以参考一下2021-11-11
这篇文章主要介绍了python isinstance函数用法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了python私有属性和方法的用法,实例分析了python私有属性和方法的原理及具体使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-01-01
在这篇文章中，我们将学习如何使用multiprocessing、joblib和tqdm Python包减少大文件的处理时间。这是一个简单的教程，可以适用于任何文件、数据库、图像、视频和音频，感兴趣的可以了解一下2022-07-07
最新评论