python 实现读取csv数据,分类求和再写进 csv

更新时间：2020年05月18日 10:30:31 作者：liujingqiu

这篇文章主要介绍了python 实现读取csv数据,分类求和再写进 csv，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

这两天在测试过程中，遇到这样的问题：

数据量很大，一份csv文件的数据与另外一个文件的数据进行对比，但是csv中的文件数据量很大，并且进行统计，如果手动单个去对比，会很花时间，吃力不讨好，还容易出错。

比如说，这样的数据

需要对AskPrice值相同对应的AskQuantity 统计出来。

直接上脚本：

import pandas as pd
import csv
df=pd.read_csv('D:\test\orderBook.csv')
df_sum = df.groupby('AskPrice')['AskQuantity'].sum() 
df_sum.to_csv('D:\test\orderBook2.csv')

然后运行得到：

这对于大数据量的处理特别方便。

补充知识：python处理csv文件（场景分类）

最近做一个关于场景分类的比赛，总共有20类，不到2万张图片，首先要做的就是把20类图片分到每个文件夹下。

import numpy as np
import os
import xlrd
import pandas as pd
import shutil
list_0 = []
list_file = []
flag = []
filename = os.listdir('F:\工作\比赛\未来杯\image_scene_training\data')
af = pd.read_excel('19.xlsx')
ww = af.values.tolist()
for i in ww:
  for j in i:
    list_0.append(j)
for name in filename:
  list_file.append(name[0:-4])
 
for name in list_file:
  if name in list_0:
    flag.append(True)
  else:
    flag.append(False)
 
for name in list_file:
  if flag[list_file.index(name)]:
    oldname = u'F:\工作\比赛\未来杯\image_scene_training\data\\'+name+'.jpg'
    newname = u'F:\工作\比赛\未来杯\image_scene_training\\train_data\\beach\\'+name+'.jpg'
    shutil.copyfile(oldname,newname)

unicodeDecodeError:'utf-8' codec can't decode byte 0xce in position 72: invalid continuation byte

1:升级pip python -m pip install --upgrade pip

2:改python文件内容：找到lib\site-packages\pip\compat\__init__.py

return s.decode('utf-8')

将‘utf-8'改成'gbk'

以上这篇python 实现读取csv数据,分类求和再写进 csv就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

python+mongodb数据抓取详细介绍
这篇文章主要介绍了python+mongodb数据抓取详细介绍，具有一定参考价值，需要的朋友可以了解下。
2017-10-10
Flask与数据库的交互插件Flask-Sqlalchemy的使用
在构建Web应用时,与数据库的交互是必不可少的部分,本文主要介绍了Flask与数据库的交互插件Flask-Sqlalchemy的使用,具有一定的参考价值,感兴趣的可以了解一下
2024-03-03
Windows下Anaconda安装、换源与更新的方法
这篇文章主要介绍了Windows下Anaconda安装、换源与更新的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-04-04
Python调用pytdx的代码示例
本文主要介绍了Python调用pytdx的代码示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-01-01
python执行shell获取硬件参数写入mysql的方法
这篇文章主要介绍了python执行shell获取硬件参数写入mysql的方法,可实现对服务器硬件信息的读取及写入数据库的功能,非常具有实用价值,需要的朋友可以参考下
2014-12-12
Python依赖管理及打包工具Poetry使用规范
这篇文章主要为大家介绍了Python依赖管理及打包工具Poetry的依赖规范，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步
2021-09-09
python生成tensorflow输入输出的图像格式的方法
本篇文章主要介绍了python生成tensorflow输入输出的图像格式的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-02-02
python正则表达式及使用正则表达式的例子
正则表达是用来匹配字符串，这篇文章给大家介绍了python正则表达式及正则表达式的例子，文章给大家提到了正则表达式语法规则，感兴趣的朋友一起看看吧
2018-01-01
Python中os模块功能与用法详解
这篇文章主要介绍了Python中os模块功能与用法,总结分析了Python os模块基本功能、内置函数、使用方法及相关操作注意事项,需要的朋友可以参考下
2020-02-02
深入探讨Python中的内置类属性`__repr__`
在Python中,__repr__是一个特殊的内置类属性,用于定义类的字符串表示形式,本文将深入探讨__repr__的作用、用法以及一些实际应用场景,希望对大家有所帮助
2023-12-12