使用Python处理CSV文件的全面指南

 更新时间:2025年07月30日 09:36:27   作者:XMYX-0  
在数据驱动开发中,‌结构化存储‌是数据处理流程的关键环节,CSV作为一种轻量级、跨平台的文件格式,广泛用于数据交换、日志记录及中小规模数据存储,本文将介绍如何使用 Python 处理 CSV 文件,需要的朋友可以参考下

常见问题及解决方案

问题:文件编码错误
解决方案:使用 encoding 参数指定文件编码,例如 encoding='utf-8'

问题:读取大文件时内存不足
解决方案:使用 chunksize 参数逐块读取数据:

for chunk in pd.read_csv('large_data.csv', chunksize=1000):
    process(chunk)  # 自定义处理函数

问题执行脚本报错

PS D:\bsop\zhijianaiweb> & D:/Python/Python39/python.exe c:/Users/wangzq/Desktop/csv.py
Traceback (most recent call last):
  File "c:\Users\wangzq\Desktop\csv.py", line 1, in <module>
    import csv
  File "c:\Users\wangzq\Desktop\csv.py", line 4, in <module>
    writer = csv.writer(file)
AttributeError: partially initialized module 'csv' has no attribute 'writer' (most likely due to a circular import)
PS D:\bsop\zhijianaiweb>

这个错误通常脚本文件命名为 csv.py,导致 Python 试图从你的脚本中导入 csv 模块,而不是标准库中的 csv 模块。解决方法如下:

  1. 重命名你的脚本:将 csv.py 更改为其他名字,例如 csv_example.py
  2. 删除 csv.pyc 文件(如果存在):在同一目录下查找 __pycache__ 文件夹,删除其中的 csv.cpython-39.pyc 文件。

使用 Python 处理 CSV 文件:全面指南

CSV(Comma-Separated Values)格式是一种广泛使用的数据交换格式,因其简单易懂而受到青睐。本文将介绍如何使用 Python 处理 CSV 文件,包括读取、写入、数据处理以及常用库的比较。

CSV 文件的基本概念

CSV 文件使用逗号分隔值,通常用于存储表格数据。每行代表一条记录,字段由逗号分隔。

使用内置 csv 模块

Python 提供了内置的 csv 模块,方便读取和写入 CSV 文件。

  • 写入 CSV 文件
import csv
with open('output.csv', mode='w', newline='') as file:
    writer = csv.writer(file)
    writer.writerow(['Name', 'Age'])
    writer.writerow(['Alice', 30])

  • 读取 CSV 文件
import csv

with open('data.csv', mode='r') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)

使用 pandas 库

pandas 是一个强大的数据处理库,适合进行复杂的数据分析。

  • 读取 CSV 文件
import pandas as pd

df = pd.read_csv('data.csv')
print(df.head())
  • 数据处理:可以轻松地进行数据过滤、修改和聚合。
# 过滤年龄大于25的人
filtered_df = df[df['Age'] > 25]
print(filtered_df)

# 统计年龄的平均值
average_age = df['Age'].mean()
print(f"Average Age: {average_age}")
  • 写入 CSV 文件
df.to_csv('filtered_output.csv', index=False)

处理缺失值

处理数据时,缺失值是常见问题。可以使用 fillna() 方法填充缺失值:

# 用0填充缺失值
df.fillna(0, inplace=True)

# 删除含有缺失值的行
df.dropna(inplace=True)

使用 DictReader 和 DictWriter

csv 模块还支持将 CSV 文件读取为字典格式,方便处理。

  • 读取为字典
import csv
with open('data.csv', mode='r') as file:
    reader = csv.DictReader(file)
    for row in reader:
        print(row['Name'], row['Age'])
  • 写入字典
import csv
with open('output.csv', mode='w', newline='') as file:
    fieldnames = ['Name', 'Age']
    writer = csv.DictWriter(file, fieldnames=fieldnames)
    writer.writeheader()
    writer.writerow({'Name': 'Bob', 'Age': 22})

案例分析

假设我们有一个包含员工信息的 CSV 文件 employees.csv,我们想要进行数据分析,比如找出薪水高于某个值的员工,并计算他们的平均薪水。

import pandas as pd

# 读取数据
df = pd.read_csv('employees.csv')

# 过滤薪水大于50000的员工
high_salary_df = df[df['Salary'] > 50000]

# 计算平均薪水
average_salary = high_salary_df['Salary'].mean()
print(f"Average Salary of High Earners: {average_salary}")

最佳实践

  • 始终检查数据的完整性:读取数据后,检查缺失值和异常值。
  • 使用相对路径:为保证代码的可移植性,使用相对路径读取文件。
  • 文件格式:尽量确保 CSV 文件的格式统一,避免出现不同的分隔符或编码问题。

性能比较

在处理大型 CSV 文件时,选择合适的库至关重要。csv 模块相对轻量,更适合简单读取和写入,而 pandas 提供了更丰富的数据操作功能,适合进行复杂分析。

结论

无论是使用内置的 csv 模块还是功能强大的 pandas 库,Python 都为处理 CSV 文件提供了灵活的解决方案。根据具体需求选择合适的方法,可以使数据处理更高效。

以上就是使用Python处理CSV文件的全面指南的详细内容,更多关于Python处理CSV文件的资料请关注脚本之家其它相关文章!

相关文章

  • python 实现图片特效处理

    python 实现图片特效处理

    这篇文章主要介绍了python 实现图片特效处理,对于 ​图片处理​,在日常生活中我们常常能够看到的,下面我们就来利用Python来对图片进行特效操作,需要的朋友可以参考一下
    2022-04-04
  • Python实现随机生成算术题的示例代码

    Python实现随机生成算术题的示例代码

    这篇文章主要为大家详细介绍了如何利用Python实现随机生成算术题的功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2023-04-04
  • Python实现删除list列表重复元素的方法总结

    Python实现删除list列表重复元素的方法总结

    在Python编程中,我们经常需要处理列表中的重复元素,这篇文章为大家介绍了五种高效的方法来删除列表中的重复元素,希望对大家有所帮助
    2023-07-07
  • Keras—embedding嵌入层的用法详解

    Keras—embedding嵌入层的用法详解

    这篇文章主要介绍了Keras—embedding嵌入层的用法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • Python中两个列表数字相加的4种方法示例详解

    Python中两个列表数字相加的4种方法示例详解

    这篇文章主要给大家介绍了关于Python中两个列表数字相加的4种方法,我们可以使用Python的加号和减号运算符来实现两个数字的相加减,需要的朋友可以参考下
    2023-08-08
  • Python编程之求数字平方的实例

    Python编程之求数字平方的实例

    这篇文章主要介绍了Python编程之求数字平方的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03
  • Python一行代码可直接使用最全盘点

    Python一行代码可直接使用最全盘点

    本文盘点一些Python中常用的一行(不限于一行)代码,可直接用在日常编码实践中,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-05-05
  • Python中的pprint模块

    Python中的pprint模块

    本文介绍了 Python中的pprint模块,pprint模块包含一个“美观打印机”,用于生成数据结构的一个美观的视图。格式化工具会生成数据结构的一些表示,不仅能够由解释器正确地解析,还便于人阅读。输出会尽可能放在一行上,分解为多行时会缩进,想了解具体内容请参考下文
    2021-11-11
  • Python万物皆对象理解及源码学习

    Python万物皆对象理解及源码学习

    这篇文章主要为大家介绍了Python万物皆对象的源码学习,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-05-05
  • Django中数据库的数据关系:一对一,一对多,多对多

    Django中数据库的数据关系:一对一,一对多,多对多

    今天小编就为大家分享一篇关于Django中数据库的数据关系:一对一,一对多,多对多,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2018-10-10

最新评论