Python csv文件记录流程代码解析
更新时间：2020年07月16日 09:12:58 作者：吉吉的奥利奥
这篇文章主要介绍了Python csv文件记录流程代码解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
1、合并所有测试集和训练集的文件：
使用cmd到所在盘下，输入copy *.CSV all_***.csv即可
2、单独提取异常数据列作为csv文件：
import csv
import codecs
#coding:utf-8
with open("G:\\data_release\\train1.0\\all_train.csv","rt",encoding="utf-8")as f:
reader=csv.DictReader(f)
column=[row['triggername'] for row in reader]
file_name="G:\\data_release\\train1.0\\triggername.csv"
file_csv = codecs.open(file_name,'w+','utf-8')
writer = csv.writer(file_csv, delimiter=' ', quotechar=' ', quoting=csv.QUOTE_MINIMAL)
for data in column:
writer.writerow(data)
虽然可以写入，但是出现乱码原因应该为csv的BOM没有更改
解决方法：将encoding='utf8'改为encoding='gb18030'
但是打开文件发现并不是所有内容都在第一列，有一些出现第二列，原因是一句话里面出现了逗号
解决方法：遍历列表将逗号改为空格
i=0
while i < len(column):
column[i].replace(","," ")
i+=1
不知道怎么的不适合我用的csv文件，还在继续检查中
3、删除一些字符，如果知道字符的位置可以在列表的基础上进行操作
去除首部空格 line=line.lstrip()
4、导入一个csv文件的时候 data = pd.read_csv('G:\pytorch\data1.csv',encoding='utf-8')
报错的内容是这样的：
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 0: invalid continuation byte
修改至data = pd.read_csv('F:\data1.csv', encoding='unicode_escape',header=None,sep = '\t',error_bad_lines=False)也没有用
删除整行重复项：
from more_itertools import unique_everseen
with open('F:\data1.csv','r') as f, open('F:\data2.csv','w') as out_file:
out_file.writelines(unique_everseen(f))
5、unexpected index是代码的缩进出现问题
6、文本文件用rt，二进制文件用rb打开
with open("fer2013.csv", "rt", encoding="utf-8") as vsvfile:
reader = csv.reader(vsvfile)
rows = [row for row in reader]
print(rows)
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
注意力机制最先被用在NLP领域,Attention就是为了让模型认识到数据中哪一部分是最重要的,为它分配更大的权重,获得更多的注意力在一些特征上,让模型表现更好,这篇文章主要给大家介绍了关于YOLOv5改进之添加CBAM注意力机制的相关资料,需要的朋友可以参考下2022-11-11
今天小编就为大家分享一篇python统计中文字符数量的两种方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了python-pandas创建Series数据类型的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-04-04
今天小编就为大家分享一篇解决pycharm py文件运行后停止按钮变成了灰色的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-11-11
这篇文章主要介绍了Python网络爬虫功能的基本写法，网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛，对网络爬虫感兴趣的朋友可以参考本文2016-01-01
今天来学习一下如何使用OpenCV实现手势音量控制,本次实验需要使用OpenCV和mediapipe库进行手势识别,并利用手势距离控制电脑音量,感兴趣的朋友跟随小编一起看看吧2023-11-11
在本篇文章里小编给大家分享的是一篇关于python和JavaScript哪个容易上手的相关知识点文章，有兴趣的朋友们可以学习下。2020-06-06
这篇文章主要介绍了Python socket编程,以实例形式较为详细的分析了Python中socket模块的使用技巧,非常具有实用价值,需要的朋友可以参考下2015-05-05
这篇文章主要介绍了python安装及变量名介绍详解,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-12-12
本文主要介绍了django redis的使用方法详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-04-04
最新评论