python读取大型csv文件的操作方法(降低内存占用)

更新时间：2024年03月13日 11:53:33 作者：jieshenai

遇到大型的csv文件时,pandas会把该文件全部加载进内存,从而导致程序运行速度变慢,本文提供了批量读取csv文件、读取属性列的方法,减轻内存占用情况,文中有详细的代码示例,需要的朋友可以参考下

简介

遇到大型的csv文件时，pandas会把该文件全部加载进内存，从而导致程序运行速度变慢。
本文提供了批量读取csv文件、读取属性列的方法，减轻内存占用情况。

import pandas as pd

input_file = 'data.csv'

读取前多少行

加载前100000行数据

df = pd.read_csv(input_file, nrows=1e5)
df

查看每个字段占用的系统内存的情况

df.info(memory_usage='deep')

设置 memory_usage 的参数为 ‘deep’ 时，深度检查对象中的内存使用情况，包括对象中可能包含的其他对象（如列表、数组或其他数据结构）。若不设置deep参数，memory_usage 只会返回一个对象的基础内存使用情况，这主要基于对象本身的内存占用，而不考虑它可能引用的其他对象。

在这里插入图片描述

如上图所示，前100000行数据共占用220.MB内存。

查看每列属性的内存占用情况；

item = df.memory_usage(deep=True)

在这里插入图片描述

针对每个属性列的字节数进行求和，使用/ (1024 ** 2)，实现1B到1MB的单位转换。验证了所有属性列的内存占用确实为 220.8MB。

在这里插入图片描述

内存占用从高到低降序排列：

df.memory_usage(deep=True).sort_values(ascending=False)

在这里插入图片描述

读取属性列

可能我们只关心，一整张表中的某几个属性，比如：'企业名称', '经营范围'。那么便无需把整张表加载进内存。

df2 = pd.read_csv(input_file, nrows=1e5, usecols=['企业名称', '经营范围'])

查看一下内存占用

df2.memory_usage(deep=True).sum() / (1024 ** 2)

在这里插入图片描述

只读取两个属性列，内存占用只有33MB。

逐块读取整个文件

pd.read_csv(input_file, chunksize=1e3, nrows=1e5)

nrows=1e5: 读取100000条数据；
chunksize=1e3: 每一块是1000条数据；

故1e5条数据，应该由100块1e3的数据组成；

# 分批次读取, 每chunksize是一个批次
chunk_dfs = pd.read_csv(input_file, chunksize=1e3, nrows=1e5)

v = 0
cnt = 0
# 每个chunk_df 都是 dataframe 类型数据
for chunk_df in chunk_dfs:
    print(chunk_df.shape)
    cnt += 1
    v += chunk_df.shape[0]

print(v, cnt)

在这里插入图片描述

上图验证了，总共处理了1e5条数据，分成了100块进行读取。

总结

pd.read_csv(input_file, nrows, usecols, chunksize)

nrows: 读取多少行数据；
usecols: 读取哪些属性列的数据；
chunksize：分块读取，每一块的大小是多少条数据；

到此这篇关于python读取大型csv文件的操作方法(降低内存占用)的文章就介绍到这了,更多相关python读取大型csv文件内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

tornado 多进程模式解析
这篇文章主要介绍了tornado 多进程模式解析，具有一定借鉴价值,需要的朋友可以参考下
2018-01-01
flask 实现上传图片并缩放作为头像的例子
今天小编就为大家分享一篇flask 实现上传图片并缩放作为头像的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-01-01
Python实现8种常用抽样方法
抽样是统计学、机器学习中非常重要，本文就用Python实现抽样方法，主要介绍了八种方法，感兴趣的小伙伴们可以参考一下
2021-06-06
Python 面向对象部分知识点小结
这篇文章主要介绍了Python 面向对象部分知识点,总结分析了Python面向对象程序设计中类、对象、实例等相关概念、原理与使用技巧,需要的朋友可以参考下
2020-03-03
Python可视化神器pyecharts绘制柱状图
这篇文章主要介绍了Python可视化神器pyecharts绘制柱状图，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的朋友可以参考一下
2022-07-07
Python中函数相关的变量作用域
这篇文章主要介绍了Python中函数相关的变量作用域,变量的作用域是指程序代码能够访问该变量的区域，如果超出该区域，在访问时就会出现错误,需要的朋友可以参考下
2023-08-08
PyTorch CUDA环境配置及安装的步骤(图文教程)
这篇文章主要介绍了PyTorch CUDA环境配置及安装的步骤(图文教程)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-04-04
Python中getattr函数详解
getattr是Python中的内置函数,用于获取一个对象的属性值,下面这篇文章主要给大家介绍了关于Python中getattr函数的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下
2023-11-11
Python第三方包PrettyTable安装及用法解析
这篇文章主要介绍了Python第三方包PrettyTable安装及用法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-07-07
python实现同级目录调用的示例详解
同级目录指的是位于同一级别的文件夹,这些文件夹具有相同的层级结构,它们相互平行,没有一个被包含在另一个之中,本文将给大家介绍python实现同级目录调用的示例,需要的朋友可以参考下
2024-06-06