对Python 多线程统计所有csv文件的行数方法详解

 更新时间:2019年02月12日 09:35:27   作者:houyanhua1  
今天小编就为大家分享一篇对Python 多线程统计所有csv文件的行数方法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下所示:

#统计某文件夹下的所有csv文件的行数(多线程)
import threading
import csv
import os
 
class MyThreadLine(threading.Thread): #用于统计csv文件的行数的线程类
 def __init__(self,path):
  threading.Thread.__init__(self) #父类初始化
  self.path=path #路径
  self.line=-1 #统计行数
 def run(self):
  reader = csv.reader(open(self.path, "r")) # 读取csv文件
  lines=0
  for item in reader: # 读取每一行
   lines+=1
  self.line=lines #保存行数
  print(self.getName(),self.line)
 
 
path="C:\\Users\\aa\\csv" #所有csv文件所在的文件夹
filelist=os.listdir(path) #存储了所有的csv文件名
threadlist=[] #线程列表
for filename in filelist:
 newpath=path+"\\"+filename #代表绝对路径
 mythd=MyThreadLine( newpath) #创建线程类对象
 mythd.start() #线程开始干活
 threadlist.append(mythd) #增加线程到线程列表
for mythd in threadlist: #遍历每一个线程
 mythd.join() #等待所有线程干完活,再继续执行以下代码
linelist=[] #csv文件行数列表
for mythd in threadlist:
 linelist.append(mythd.line)
print(linelist)
 

以上这篇对Python 多线程统计所有csv文件的行数方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python读取nc文件的多种方式总结

    Python读取nc文件的多种方式总结

    Python中读取NetCDF文件有多种方法,包括使用netCDF4、xarray、h5py、SciPy和Pseudonetcdf等库,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2024-09-09
  • 解析Python编程中的包结构

    解析Python编程中的包结构

    这篇文章主要介绍了解析Python编程中的包结构,包括对一些包管理工具的介绍,需要的朋友可以参考下
    2015-10-10
  • selenium查找网页出现加载卡顿或失败的解决方法

    selenium查找网页出现加载卡顿或失败的解决方法

    这篇文章主要为大家详细介绍了selenium查找网页时如何处理网站资源一直加载非常卡顿或者失败的情况,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下
    2023-10-10
  • 端午节将至,用Python爬取粽子数据并可视化,看看网友喜欢哪种粽子吧!

    端午节将至,用Python爬取粽子数据并可视化,看看网友喜欢哪种粽子吧!

    端午节快要到了,旅游?回家?拜访亲友?少不了要带上粽子.那么:选择什么牌子的粽子呢?选择什么口味的粽子呢?选择什么价格区间呢?今天爬取了京东上面的 “粽子数据” 进行分析,看看有啥发现吧!,需要的朋友可以参考下
    2021-06-06
  • Python读写Excel文件的实例

    Python读写Excel文件的实例

    很简单的Python读写Excel文件的方法,一看就明白。
    2013-11-11
  • 利用Python实现电影订票系统

    利用Python实现电影订票系统

    这篇文章主要介绍了利用Python实现电影订票系统,一部电影的详细信息适合用 字典 结构来存储,我们可以给字典里添加多个键值对来保存电影的名称、座位表和宣传时用的字符画,需要的朋友可以参考一下
    2022-03-03
  • python之pkl文件的用法及说明

    python之pkl文件的用法及说明

    这篇文章主要介绍了python之pkl文件的用法及说明,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-06-06
  • 详解分布式任务队列Celery使用说明

    详解分布式任务队列Celery使用说明

    这篇文章主要介绍了详解分布式任务队列Celery使用说明,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-11-11
  • 使用BeautifulSoup和Pandas进行网页数据抓取与清洗处理

    使用BeautifulSoup和Pandas进行网页数据抓取与清洗处理

    在数据分析和机器学习的项目中,数据的获取,清洗和处理是非常关键的步骤,下面我们就来讲讲如何利用Python中的Beautiful Soup库进行这样的操作吧
    2025-02-02
  • 使用Python进行PowerPoint幻灯片背景设置

    使用Python进行PowerPoint幻灯片背景设置

    设置PowerPoint幻灯片背景不仅能够增强演示文稿的视觉吸引力,还能帮助传达特定的情感或信息,本文将介绍如何使用Python为PowerPoint幻灯片设置纯色、渐变及图片背景,有需要的可以参考下
    2024-11-11

最新评论