Python 多线程搜索txt文件的内容,并写入搜到的内容(Lock)方法

 更新时间:2019年08月23日 16:44:57   作者:houyanhua1  
今天小编就为大家分享一篇Python 多线程搜索txt文件的内容,并写入搜到的内容(Lock)方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

废话不多说,直接上代码吧!

import threading
import os
 
class Find(threading.Thread): #搜索数据的线程类
 def __init__(self,datalist,startIndex,endIndex,searchstr,savefile): #datalist要搜索的内容列表,startIndex列表搜索范围的开始下标,searchstr要搜索的内容
  threading.Thread.__init__(self)
  self.datalist=datalist #要搜索的数据的内存地址
  self.startIndex=startIndex #开始的索引
  self.endIndex=endIndex #结束的索引
  self.seachstr=searchstr #需要搜索的数据
  self.savefile=savefile
 def run(self):
 	self.findlist=[]
 	for i in range(self.startIndex,self.endIndex):
  	line=self.datalist[i].decode("gbk","ignore") #读取一行
  	if line.find(self.seachstr)!=-1:
  		print(self.getName(),line,end="") #搜索数据
  		self.findlist.append(line)
 	global mutex #多线程共享全局变量(全局锁)
 	with mutex: #获取锁(自动释放锁)
 		for line in self.findlist:
 			self.savefile.write(line.encode("gbk"))
  	
 
mutex=threading.Lock() #创建一个锁
savefile=open("c:\\zhaodao.txt","wb") #搜索到的内容写入该文件
 
path = "C:\\data1.txt" #要搜索的文件
file = open(path, "rb")
datalist = file.readlines() # 全部读入内存
lines=len(datalist) #所有的行数
searchstr=input("输入要查询的数据")
N=10 #开启10个线程
threadlist=[] #线程列表
# 97 9 0-1000000 1000000-2000000 2000000-3000000
for i in range(0,N-1): #0,1,2,3,4,5,6,7,8 数据切割
 mythd= Find(datalist,i*(lines//(N-1)) , (i+1)*(lines//(N-1)),searchstr,savefile) # //表示整除
 mythd.start()
 threadlist.append(mythd) #添加到线程列表
 
#97 = 97//10*10=90
mylastthd= Find(datalist,lines//(N-1)*(N-1),lines,searchstr,savefile) #最后的线程搜索剩下的尾数
mylastthd.start()
threadlist.append(mylastthd) #添加到线程列表
 
for thd in threadlist: #遍历线程列表
 thd.join()
print("finish")

以上这篇Python 多线程搜索txt文件的内容,并写入搜到的内容(Lock)方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python函数实现学员管理系统

    Python函数实现学员管理系统

    这篇文章主要为大家详细介绍了Python函数实现学员管理系统,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-07-07
  • pandas.read_csv参数详解(小结)

    pandas.read_csv参数详解(小结)

    这篇文章主要介绍了pandas.read_csv参数详解(小结),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-06-06
  • IPython 8.0 Python 命令行交互工具

    IPython 8.0 Python 命令行交互工具

    这篇文章主要介绍了IPython 8.0 Python 命令行交互工具,IPython 是 Python 的原生交互式 shell 的增强版,可以完成许多不同寻常的任务,下面我们就拉看看文章具体的介绍内容吧
    2022-01-01
  • python模拟投掷色子并数据可视化统计图

    python模拟投掷色子并数据可视化统计图

    这篇文章主要介绍了python模拟投掷色子并数据可视化统计图,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-07-07
  • python+ffmpeg批量去视频开头的方法

    python+ffmpeg批量去视频开头的方法

    今天小编就为大家分享一篇python+ffmpeg批量去视频开头的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • pytorch使用-tensor的基本操作解读

    pytorch使用-tensor的基本操作解读

    这篇文章主要介绍了pytorch使用-tensor的基本操作解读,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-12-12
  • Python列表对象中元素的删除操作方法

    Python列表对象中元素的删除操作方法

    列表的删操作指的是在列表中删除已存在的元素,列表中的元素被删除后,后面所有的元素依次往前移动一位,挂在被删除元素的索引下,保证每一个索引都有元素,这篇文章主要介绍了Python列表对象中元素的删除操作方法,需要的朋友可以参考下
    2022-12-12
  • 对Python 中矩阵或者数组相减的法则详解

    对Python 中矩阵或者数组相减的法则详解

    今天小编就为大家分享一篇对Python 中矩阵或者数组相减的法则详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • Python+OpenCV实现在图像上绘制矩形

    Python+OpenCV实现在图像上绘制矩形

    这篇文章主要介绍了如何利用Python和OpenCV实现在图像上绘制任意大小的矩形,文中的示例代码讲解详细,感兴趣的小伙伴可以参考一下
    2022-03-03
  • Python+Tensorflow+CNN实现车牌识别的示例代码

    Python+Tensorflow+CNN实现车牌识别的示例代码

    这篇文章主要介绍了Python+Tensorflow+CNN实现车牌识别的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-10-10

最新评论