Python 利用CSV模块处理数据的实现实例

 更新时间:2024年03月17日 10:14:05   作者:V1ncent Chen  
CSV文件的一个主要优点是有很多程序可以存储,转换和处理纯文本文件,本文主要介绍了Python 利用CSV模块处理数据的实现实例,具有一定的参考价值,感兴趣的可以了解一下

CSV(Comma-Separated Values 逗号分割值)是一种简单的数据存储与分享方式,和Excel相比,CSV文件的一个主要优点是有很多程序可以存储,转换和处理纯文本文件,因此应用场景更加广泛。

一、CSV模块简介

考虑下面的CSV文件:salary.csv。虽然可以使用str.split(‘,’)这样的方式处理数据,但是当遇到带逗号分隔的金额会导致拆分错误,除此之外还可能遇到其他各种问题:

id,name,hire_date, salary ,bonus
1,Vincent,2024/1/1," 1,000.00 ",100
2,Victor,2024/1/2," 2,000.00 ",200
3,Grace,2024/1/3," 3,000.00 ",300

使用split拆分代码如下,金额1,000.00被错误的分成了2段:

input_file = 'salary.csv'
with open(input_file, 'r', newline='') as fi:
        header = fi.readline()
        header = header.strip()
        header_list = header.split(',')
        print(header_list)
        for row  in fi:
            field_list = row.strip().split(',')
            print(field_list)

在这里插入图片描述

对于这类问题,建议选择标准库中的CSV模块来进行处理,CSV模块被设计成能够识别微软Excel所采用的编码规则,可以识别出这种模式并正确的分析数据。

CSV模块常用函数如下:

  • csv.reader(csvfile, dialect=‘excel’, **fmtparams),返回一个reader对象,通过该对象处理csvfile中的数据,此函数用来打开输入文件。csvfile必须是包含字符串的可迭代对象,通常是文件型对象或列表,如果csvfile是一个文件对象,则打开时应设置newline=‘’。
  • csv.writer(csvfile, dialect=‘excel’, **fmtparams),返回一个writer对象,该对象负责将数据在给定的文件型对象上转换为带分隔符的字符串,此函数用来打开输出文件。如果csvfile是一个文件对象,则打开时应设置newline=‘’。

二、用法示例

下面两个示例演示从CSV文件中选取特定的行、列,更复杂的操作都可以在此基础上进行扩展。

2.1 使用CSV模块选取特定的行

对于文件salary.csv,过滤出salary列大于1000的行,并写入results.csv。由于原数据类型为字符串且包含逗号,所以需要先去除值里的逗号,最后用float函数转换为浮点数与1000进行比较。筛选出符合条件的数据后调用writer对象上的writerow方法逐行写入results.csv:

import csv
input_file = 'salary.csv'
output_file = 'results.csv'
with open(input_file, 'r', newline='') as fi:
    with open(output_file, 'w', newline='') as fo:
        reader = csv.reader(fi, delimiter=',')    # 默认分隔符就是逗号,delimiter=','也可省略
        writer = csv.writer(fo)
        header = next(reader)    # 读取第一行标题
        print(header)
        writer.writerow(header)    # 先将标题写入文件
        for row in reader:
            salary = float(row[3].replace(',', ''))    # 去除逗号并转换为float型
            if salary > 1000:
                print(row)
                writer.writerow(row)

在这里插入图片描述

这里可以看到CSV模块可以正确处理金额中的逗号,不会拆分为2段。

2.2 优化:通过标题名引用列

上面的示例中,在判断金额大于1000时,因为要特殊处理,所以我们用row[3]这种索引方式来选取salary列。如果要处理的列很多,那么都通过row[idx]来引用不仅麻烦而且容易搞混淆。这里用命名元组(collections.namedtuple)优化一下,命名元组赋予每个位置一个含义,提供可读性并添加了通过列名获取值的能力(用索引依然也是可以的)。

import csv
from collections import namedtuple
input_file = 'salary.csv'
output_file = 'results.csv'
with open(input_file, 'r', newline='') as fi:
    with open(output_file, 'w', newline='') as fo:
        reader = csv.reader(fi, delimiter=',')    # 默认分隔符就是逗号,delimeter=','也可省略
        writer = csv.writer(fo)
        header = next(reader)    # 读取第一行标题
        print(header)
        writer.writerow(header)    # 先将标题写入文件
        
        namedrow = namedtuple('namedrow', header)    #  命名元组定义
        for row in reader:
            row = namedrow(*row)    # 转换为命名元组
            salary = float(row.salary.replace(',', ''))    # 通过row.salary引用salary列
            if salary > 1000:
                print(row)
                writer.writerow(row)

在这里插入图片描述

2.3 使用CSV模块筛选特定的行

现只需要选取id, name, salary三列。处理思路为通过标题先将3列的索引位置保存到列表中,然后在每行循环中,根据索引位置只保存这3列数据:

import csv
input_file = 'salary.csv'
output_file = 'results.csv'
with open(input_file, 'r', newline='') as fi:
    with open(output_file, 'w', newline='') as fo:
        reader = csv.reader(fi, delimiter=',')    # 默认分隔符就是逗号,delimiter=','也可省略
        writer = csv.writer(fo)
        header = next(reader)    # 读取第一行标题

        columns = ['id', 'name', 'salary']    # 需要的列
        col_idx = []
        for idx in range(len(header)):
            if header[idx] in columns:    # 如果在选取的范围内,保存索引
                col_idx.append(idx)               
        writer.writerow(columns)    # 先将标题写入文件

        for row in reader:
            results = []
            for idx in col_idx:
                results.append(row[idx])    # 通过索引只保留需要的列
            print(results)
            writer.writerow(results)

在这里插入图片描述

到此这篇关于Python 利用CSV模块处理数据的实现实例的文章就介绍到这了,更多相关Python CSV模块处理数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家! 

相关文章

  • Python Pandas找到缺失值的位置方法

    Python Pandas找到缺失值的位置方法

    下面小编就为大家分享一篇Python Pandas找到缺失值的位置方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • python使用UDP实现客户端和服务器对话

    python使用UDP实现客户端和服务器对话

    这篇文章主要为大家介绍了python使用UDP实现客户端和服务器对话示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-03-03
  • Python发展史及网络爬虫

    Python发展史及网络爬虫

    Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。这篇文章给大家介绍了python发展史及网络爬虫知识,感兴趣的朋友跟随小编一起看看吧
    2019-06-06
  • python如何做代码性能分析

    python如何做代码性能分析

    这篇文章主要介绍了python如何做代码性能分析,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下
    2021-04-04
  • python保存文件方法小结

    python保存文件方法小结

    这篇文章主要介绍了python保存文件方法小结,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2018-07-07
  • Python抓包程序mitmproxy安装和使用过程图解

    Python抓包程序mitmproxy安装和使用过程图解

    这篇文章主要介绍了Python mitmproxy包安装和使用过程图解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-03-03
  • python实现图片插入文字

    python实现图片插入文字

    这篇文章主要为大家详细介绍了python实现图片插入文字,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-11-11
  • pytorch 实现张量tensor,图片,CPU,GPU,数组等的转换

    pytorch 实现张量tensor,图片,CPU,GPU,数组等的转换

    今天小编就为大家分享一篇pytorch 实现张量tensor,图片,CPU,GPU,数组等的转换,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • E: 无法定位软件包 python3-pip问题及解决

    E: 无法定位软件包 python3-pip问题及解决

    这篇文章主要介绍了E: 无法定位软件包 python3-pip问题及解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-02-02
  • python画环形图的方法

    python画环形图的方法

    这篇文章主要为大家详细介绍了python画环形图的相关代码,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-03-03

最新评论