解决pandas无法读取csv文件数据的问题
更新时间：2025年07月30日 14:34:31 作者：shengjk1
本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参数配置对数据处理的重要性
一、前言
我有一个 csv 文件，要做数据分析，可是用 pandas 死活读不出来，差点搞崩溃了。
但打开 csv 文件，发现里面的内容啥的还是蛮正常的
并且以 逗号 分割
二、问题复现
1. 问题
import pandas as pd
df=pd.read_csv('./data/test.csv')
df
2. 通过 on_bad_lines=‘warn’ 跳过异常数据
不报错了，但发现数据错位了。
3. 没办法了 delimiter=‘\t’
数据总算对了，看着是没有错位
4. 添加 delimiter后，按列无法取值
仔细想想也应该这样，因为本来分割符就是 ‘,’
5. 没有办法回归最原始的方式
with open(f'{file_path}', newline='',encoding='utf-8') as csvfile:
reader = csv.DictReader(csvfile)
三、总结
通过本文可见，正确的参数设置对于使用Pandas读取CSV文件至关重要。在处理异常数据时，合适的参数选择和方法应用能有效解决数据错位和取值异常等问题，确保数据的准确性和完整性。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
本篇文章给大家分享了关于Python装饰器以及装饰器模式的相关知识点，一起跟着小编学习下吧。2018-05-05
这篇文章主要介绍了Python可迭代对象操作,涉及Python列表生成式、迭代器、数据遍历等相关操作技巧,需要的朋友可以参考下2019-05-05
Django 是一个开放源代码的 Web 应用框架，由 Python 写成，今天通过本文给大家介绍python Django框架快速入门教程，适用后台管理，感兴趣的朋友跟随小编一起看看吧2021-07-07
有时在数据处理时,需要对数据进行拼接处理,比如字符串的拼接、列表的拼接等,本文主要是介绍了字符串、列表、字典常用的拼接方法,希望对大家有所帮助2024-02-02
这篇文章主要介绍了python3两数相加的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
LightGBM是扩展机器学习系统。是一款基于GBDT（梯度提升决策树）算法的分布梯度提升框架。其设计思路主要集中在减少数据对内存与计算性能的使用上，以及减少多机器并行计算时的通讯代价。本文将通过LightGBM进行时间序列预测，感兴趣的可以了解一下2022-03-03
win10系统Anaconda和Pycharm的Tensorflow2.0之CPU和GPU版本安装教程
这篇文章主要介绍了win10系统 Anaconda 和 Pycharm 的 Tensorflow2.0 之 CPU和 GPU 版本安装教程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-12-12
这篇文章主要给大家介绍了关于如何优雅地改进Django中的模板碎片缓存的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2018-07-07
这篇文章主要介绍了python3 pathlib库Path类方法总结,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
这篇文章主要为大家详细介绍了如何利用PyQt5和serial模块实现一个简单的串口小工具，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起学习一下2023-01-01
最新评论