python 实现读取csv数据,分类求和 再写进 csv
更新时间：2020年05月18日 10:30:31 作者：liujingqiu
这篇文章主要介绍了python 实现读取csv数据,分类求和 再写进 csv，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
这两天在测试过程中，遇到这样的问题：
数据量很大，一份csv文件的数据与另外一个文件的数据进行对比，但是csv中的文件数据量很大，并且进行统计 ，如果手动单个去对比，会很花时间，吃力不讨好，还容易出错。
比如说，这样的数据
需要对AskPrice值相同对应的AskQuantity 统计出来。
直接上脚本 ：
import pandas as pd
import csv
df=pd.read_csv('D:\test\orderBook.csv')
df_sum = df.groupby('AskPrice')['AskQuantity'].sum()
df_sum.to_csv('D:\test\orderBook2.csv')
然后运行得到：
这对于大数据量的处理特别方便。
补充知识：python处理csv文件（场景分类）
最近做一个关于场景分类的比赛，总共有20类，不到2万张图片，首先要做的就是把20类图片分到每个文件夹下。
import numpy as np
import os
import xlrd
import pandas as pd
import shutil
list_0 = []
list_file = []
flag = []
filename = os.listdir('F:\工作\比赛\未来杯\image_scene_training\data')
af = pd.read_excel('19.xlsx')
ww = af.values.tolist()
for i in ww:
for j in i:
list_0.append(j)
for name in filename:
list_file.append(name[0:-4])
for name in list_file:
if name in list_0:
flag.append(True)
else:
flag.append(False)
for name in list_file:
if flag[list_file.index(name)]:
oldname = u'F:\工作\比赛\未来杯\image_scene_training\data\\'+name+'.jpg'
newname = u'F:\工作\比赛\未来杯\image_scene_training\\train_data\\beach\\'+name+'.jpg'
shutil.copyfile(oldname,newname)
unicodeDecodeError:'utf-8' codec can't decode byte 0xce in position 72: invalid continuation byte
1:升级pip python -m pip install --upgrade pip
2:改python文件内容：找到lib\site-packages\pip\compat\__init__.py
return s.decode('utf-8')
将‘utf-8'改成'gbk'
以上这篇python 实现读取csv数据,分类求和 再写进 csv就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
我们有时想直接查看文件夹里的所有文件,但使用正常的方法太麻烦了,于是本文开发出了两个python程序,可以遍历目录,有需要的小伙伴可以参考下2024-02-02
下面小编就为大家带来一篇django 常用orm操作详解。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-09-09
Pandas —— resample()重采样和asfreq()频度转换方式
今天小编就为大家分享一篇Pandas —— resample()重采样和asfreq()频度转换方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
本文将结合实例代码，介绍Python3 多线程(连接池)操作MySQL插入数据，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-06-06
Qt平台对SQL编程有着良好的支持，PyQt5也一并继承了过来，这篇文章主要介绍了Python GUI教程之在PyQt5中使用数据库的方法,需要的朋友可以参考下2021-09-09
这篇文章主要介绍了Python字符串中出现的次数统计多种方法,使用内置的count()方法、正则表达式、列表推导式、循环和条件判断以及字符串分割,每种方法都有其适用的场景和优缺点,选择合适的方法取决于具体的需求和场景,需要的朋友可以参考下2024-12-12
这篇文章给大家分享了python中常用的九种预处理方法，对大家学习或使用python具有一定的参考价值，有需要的朋友们可以一起来看看。2016-09-09
本文主要介绍了python实现定时器的5种方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-03-03
Dephi逆向工具Dede导出函数名MAP导入到IDA中的实现方法
这篇文章主要介绍了Dephi逆向工具Dede导出函数名MAP导入到IDA中,通过这个脚本，我们就可以把专业dephi程序分析的结果，转移到IDA专业逆向代码分析的平台，实现联动，需要的朋友可以参考下2022-08-08
这篇文章主要介绍了python字符串不可变数据类型,下文关于python字符串不可变数据类型相关资料展开的内容主要有查找子串及数量、字符串的替换、分割以及合并、删除侧边的空白等内容，需要的小伙伴可以参考一下2022-02-02
最新评论