Python 多线程不加锁分块读取文件的方法

更新时间：2018年12月11日 10:36:24 作者：sydiesel

今天小编就为大家分享一篇Python 多线程不加锁分块读取文件的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

多线程读取或写入，一般会涉及到同步的问题，否则产生的结果是无法预期的。那么在读取一个文件的时候，我们可以通过加锁，但读不像写操作，会导致文件错误，另外锁操作是有一定的耗时。因此通过文件分块，可以比较有效的解决多线程读问题，之前看到有人写的分块操作，比较复杂，需要实现建立好线程以及所读取块信息，在这里，我提供了一种比较简便的方法，以供参考。

#!/user/bin/env python
#_*_coding:utf-8_*_
from threading import Thread
import time
from processing import Process, Queue

from multiprocessing import Process

file_path = 't'
fd = open(file_path, 'r')


def deal(thread_num):

 i = 1
 line_list = []

 #20是我的文件行数，正式情况下可以通过wc -l t获取
 while i <= 20/thread_num:
 line_list.append(fd.readline())
 i += 1
 return line_list


def todo(thread_name, line_list):
 # print 'thread_name:',thread_name,'start'
 for line in line_list:
 print str(thread_name) + ' counsume:' + line
 # print 'thread_name:', thread_name, 'end'


if __name__ == '__main__':
 thread_num = 10
 thread_list = []
 for i in range(thread_num):
 line_list = deal(thread_num)
 t = Thread(target=todo, args=[i, line_list])
 t.start()
 thread_list.append(t)

 for t in thread_list:
 t.join()

下面是文件格式：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

运行的结果如下：

Python 多线程不加锁分块读取文件

以上这篇Python 多线程不加锁分块读取文件的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python文件打开读取写入方法实用案例
我们在工作中经常需要用python对文本文件进行内容的读取和写入,下面这篇文章主要给大家介绍了关于Python文件打开读取写入方法的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2023-05-05
如何判断pytorch是否支持GPU加速
这篇文章主要介绍了判断pytorch是否支持GPU加速的操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2021-06-06
Django实现快速分页的方法实例
分页是我们日常开发中必不可少的一个功能，下面这篇文章主要给大家介绍了关于Django如何实现快速分页的方法，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起学习学习吧。
2017-10-10
windows下Python实现将pdf文件转化为png格式图片的方法
这篇文章主要介绍了windows下Python实现将pdf文件转化为png格式图片的方法,结合实例形式较为详细的分析了Python实现将pdf转换为png格式的相关模块、使用方法与相关注意事项,需要的朋友可以参考下
2017-07-07
Python+pyecharts绘制双动态曲线教程详解
pyecharts 是一个用于生成 Echarts 图表的类库。Echarts 是百度开源的一个数据可视化 JS 库。用 Echarts 生成的图可视化效果非常棒。本文将用pyecharts绘制双动态曲线，需要的可以参考一下
2022-06-06
Python中计数器Counter的使用技巧分享
计数器（Counter）是Python标准库collections模块中提供的一个强大工具,用于统计可哈希对象的出现次数,本文将介绍Python中计数器的基本用法、高级功能等内容,希望对大家有所帮助
2023-11-11
对pandas的dataframe绘图并保存的实现方法
下面小编就为大家带来一篇对pandas的dataframe绘图并保存的实现方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-08-08
Python控制自己的手机摄像头拍照并自动发送到邮箱案例讲解
这篇文章主要介绍了Python控制自己的手机摄像头拍照，并把照片自动发送到邮箱,大概思路是通过opencv调用摄像头拍照保存图像本地用email库构造邮件内容,保存的图像以附件形式插入邮件内容用smtplib库发送邮件到指定邮箱，需要的朋友可以参考下
2022-04-04
Python判断操作系统类型代码分享
这篇文章主要介绍了Python判断操作系统类型代码分享,编写一些跨平台程序时经常要用到,需要的朋友可以参考下
2014-11-11
使用Python爬虫库requests发送请求、传递URL参数、定制headers
今天为大家介绍一下Python爬虫库requests的发送请求、传递URL参数、定制headers的基础使用方法
2020-01-01