如何使用pandas对超大csv文件进行快速拆分详解

 更新时间:2022年07月04日 16:35:27   作者:coder1479  
Pandas是Python语言的一个扩展程序库,提供高性能、易于使用的数据结构和数据分析工具,下面这篇文章主要给大家介绍了关于如何使用pandas对超大csv文件进行快速拆分的相关资料,需要的朋友可以参考下

前言

本文介绍如何利用pandas对超大CSV文件进行快速拆分。

1. 操作步骤

1.1 安装pandas

pip install pandas

1.2 拆分大文件

import pandas as pd

# 读取csv文件
df = pd.read_csv("../super_big.csv")

# 获取文件总行数
row_num = len(df)

# 确定每个小文件要包含的数据量
step = 400

for start in range(0, row_num, step):
    stop = start + step
    filename = "./small_{}-{}.csv".format(start, stop)
    d = df[start: stop]
    print("Saving file : " + filename + ", data size : " + str(len(d)))
    d.to_csv(fname, index=None)

# 输出如下
# Saving file : ./small_0-500.csv, data size : 500
# Saving file : ./small_500-1000.csv, data size : 500

代码就这么简单。

2. 再多了解一点儿

2.1 pandas读取csv文件后,返回的是什么类型?

import pandas
df = pandas.read_csv('./super_big.csv')
type(df)

<class 'pandas.core.frame.DataFrame'>

2.2 如何从DataFrame中读取某一行呢?

# 返回第一行
print(df.loc[0])
# 返回第二行
print(df.loc[1])

2.3 如何从DataFrame读取多行呢?

 d = df[start: stop]

2.4 如何从DataFrame中读取某一列呢?

data = {
    "name": ["peter", "rose", "joe"],
    "career": ["teacher", "engineer", "doctor"]
}

df = pd.DataFrame(data)
print(df["name"])

#0    peter
#1     rose
#2      joe
#Name: name, dtype: object

2.5 如何用pandas读写CSV文件?

df = pd.read_csv("YOUT_CSV_FILE.csv")

df.to_csv(fname, index=None)

注意:index默认是True,意思是保存行索引,这时候需要一个例子。

data = {
    "name": ["peter", "rose", "joe"],
    "career": ["teacher", "engineer", "doctor"]
}

df = pd.DataFrame(data)
df.to_csv("a.csv")

# 文件内容如下,注意每行的开头自动添加了行索引,从0开始递增
,name,career
0,peter,teacher
1,rose,engineer
2,joe,doctor

2.6 关于pandas

pandas是一款快速、强大、灵活且易于使用的开源数据分析和操作工具,建立在Python编程语言之上。用了都说好。

3. 小结

其实pandas处理csv文件的方法还有很多,功能非常强大,仅仅是数据切分,就有很多方法,有需要的时候,可以去看看文档。

到此这篇关于如何使用pandas对超大csv文件进行快速拆分的文章就介绍到这了,更多相关pandas拆分csv文件内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 用python制作个论文下载器(图形化界面)

    用python制作个论文下载器(图形化界面)

    这篇文章主要介绍了用python制作个论文下载器(图形化界面),帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下
    2021-03-03
  •  python用matplotlib可视化绘图详解

     python用matplotlib可视化绘图详解

    这篇文章主要介绍了 python用matplotlib可视化绘图详解,Matplotlib 是一个python的 2D绘图库,它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形,下面我们就来看看关于matplotlib可视化绘图的详细过程吧
    2022-01-01
  • python 实现长数据完整打印方案

    python 实现长数据完整打印方案

    这篇文章主要介绍了python 实现长数据完整打印方案,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03
  • Python 中多态性的示例和类的继承多态性详解

    Python 中多态性的示例和类的继承多态性详解

    多态性通常在类的方法中使用,其中我们可以具有相同方法名称的多个类,本文给大家介绍Python 中多态性的示例和类的继承多态性详解,需要的朋友可以参考下
    2023-10-10
  • python生成日历实例解析

    python生成日历实例解析

    这篇文章主要介绍了python生成日历的方法,实用了python自带的 calendar模块加以实现,需要的朋友可以参考下
    2014-08-08
  • Python BentoML构建部署和管理机器学习模型技巧掌握

    Python BentoML构建部署和管理机器学习模型技巧掌握

    BentoML是一个开源的Python框架,旨在简化机器学习模型的打包、部署和管理,本文将深入介绍BentoML的功能和用法,提供详细的示例代码和解释,帮助你更好地理解和应用这个强大的工具
    2024-01-01
  • 浅谈Python中函数的参数传递

    浅谈Python中函数的参数传递

    下面小编就为大家带来一篇浅谈Python中函数的参数传递。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-06-06
  • Python如何去除字符串中不需要的字符

    Python如何去除字符串中不需要的字符

    这篇文章主要介绍了Python如何去除字符串中不需要的字符问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • 5分钟 Pipenv 上手指南

    5分钟 Pipenv 上手指南

    这篇文章主要介绍了5分钟 Pipenv 上手指南,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-12-12
  • Python字符串本身作为bytes进行解码的问题

    Python字符串本身作为bytes进行解码的问题

    这篇文章主要介绍了解决Python字符串本身作为bytes进行解码的问题,文末给大家补充介绍了,Python字符串如何转为bytes对象?Python字符串和bytes类型怎么互转,需要的朋友可以参考下
    2022-11-11

最新评论