如何将DataFrame数据写入csv文件及读取

 更新时间:2024年09月18日 10:59:14   作者:geerduo  
在Python中进行数据处理时,经常会用到CSV文件的读写操作,当需要将list数据保存到CSV文件时,可以使用内置的csv模块,若data是一个list,saveData函数能够将list中每个元素存储在CSV文件的一行,但需要注意的是,默认情况下读取出的CSV数据类型为str

一、saveData函数

import csv
 
def saveData(filePath, data):
 
    with open(filePath, 'w+', newline='') as f:
        writer = csv.writer(f)
        for row in data:
            writer.writerow(row)

如果data是一个list,saveData函数会将list中的每个元素保存在csv文件中的一行。

但是存在一个问题:

csv文件中保存的数据如果直接读取出来是str类型,需要进行转换

二、将DataFrame写入csv文件

情况1

将list写入csv文件

init_configs = []
for i, cluster in enumerate(clusters):
    init_configs.append([f"cluster {i}:"])
    for _, row in cluster.iterrows():
        config = row.tolist()
        init_configs.append(config)
 
saveData('filePath', init_configs)

config = row.tolist()会将df中每一行数据都转变为list,然后append到init_configs中,通过调用saveData函数可以将每一行数据表示的list都写到csv文件中的一行。

这种情况生成的csv文件中每一行的各个元素之间都是用逗号隔开。

情况2

将嵌套list写入csv文件

init_configs = []
for i, cluster in enumerate(clusters):
    init_configs.append([f"cluster {i}:"])
    for _, row in cluster.iterrows():
        config = row.tolist()
        init_configs.append([config])
 
saveData('filePath', init_configs)

这种情况下init_configs中每个元素是一个二维list,由于CSV 文件是一种纯文本格式,它无法直接存储列表或其他复杂的数据结构。

当尝试将 [[1, 2, 3, 4, 5]] 这个二维嵌套list写入CSV文件时,它会被自动转换为字符串形式。

如下:

三、读取csv文件

情况1

如果按照上面的方法1写csv文件,可以按照如下方式将内容读出来:

import pandas as pd
 
with open(filePath, 'r') as f:
    lines = f.readlines()
 
filtered_lines = [line for line in lines if not line.startswith('cluster')]
 
configs = []
for line in filtered_lines:
    config = [int(x) for x in line.strip().split(',')]
    configs.append(config)
 
df = pd.DataFrame(configs)

可以用列表表达式的方式将csv文件中每一行的数据转为一个list。

情况2

如果将整个list当作字符串写到了csv文件中,可以按照如下方式将内容正确地读出来:

import pandas as pd
import ast
 
with open(filePath, 'r') as f:
    lines = f.readlines()
 
filtered_lines = [line for line in lines if not line.startswith('cluster')]
 
configs = []
for line in filtered_lines:
    config = ast.literal_eval(eval(line))
    configs.append(config)
 
df = pd.DataFrame(configs)

通过config = ast.literal_eval(eval(line))可以将变为字符串的list还原成原本的数据形式。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python cookbook(数据结构与算法)同时对数据做转换和换算处理操作示例

    Python cookbook(数据结构与算法)同时对数据做转换和换算处理操作示例

    这篇文章主要介绍了Python cookbook(数据结构与算法)同时对数据做转换和换算处理操作,涉及Python使用生成器表达式进行数据处理的相关操作技巧,需要的朋友可以参考下
    2018-03-03
  • python dataframe列应用正则表达式筛选方式

    python dataframe列应用正则表达式筛选方式

    这篇文章主要介绍了python dataframe列应用正则表达式筛选方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-02-02
  • python 实现查询Neo4j多节点的多层关系

    python 实现查询Neo4j多节点的多层关系

    今天小编就为大家分享一篇python 实现查询Neo4j多节点的多层关系,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • python代码如何实现余弦相似性计算

    python代码如何实现余弦相似性计算

    这篇文章主要介绍了python代码如何实现余弦相似性计算,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-02-02
  • python  创建一个保留重复值的列表的补码

    python 创建一个保留重复值的列表的补码

    这篇文章主要介绍了python 创建一个保留重复值的列表的补码的相关资料,需要的朋友可以参考下
    2018-10-10
  • Python批量模糊匹配的3种方法实例

    Python批量模糊匹配的3种方法实例

    模糊匹配可以算是现代编辑器的一个必备特性了,它所做的就是根据用户输入的部分内容,猜测用户想要的文件名,并提供一个推荐列表供用户选择,下面这篇文章主要给大家介绍了关于Python批量模糊匹配的3种方法,需要的朋友可以参考下
    2022-03-03
  • python中os.path.dirname(path)详细解释和使用示例

    python中os.path.dirname(path)详细解释和使用示例

    这篇文章主要介绍了python中os.path.dirname(path)详细解释和使用示例,os.path.dirname是一个Python函数,用于获取文件路径的目录部分,它通常与os.path.basename结合使用,以分离路径中的目录和文件名,需要的朋友可以参考下
    2025-03-03
  • python 如何引入协程和原理分析

    python 如何引入协程和原理分析

    这篇文章主要介绍了python 如何引入协程和原理分析,帮助大家更好得理解和学习python,感兴趣的朋友可以了解下
    2020-11-11
  • 深人了解Python上下文管理器

    深人了解Python上下文管理器

    这篇文章主要为大家介绍了Python上下文管理器,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助<BR>
    2021-12-12
  • 关于Python排序sort()函数和sorted()函数

    关于Python排序sort()函数和sorted()函数

    这篇文章主要介绍了关于Python排序sort()函数和sorted()函数,利用Python中的内置函数去实现直接排序,需要的朋友可以参考下
    2023-04-04

最新评论