脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python 多线程不加锁分块读取文件

Python 多线程不加锁分块读取文件的方法

 更新时间：2018年12月11日 10:36:24   作者：sydiesel  
今天小编就为大家分享一篇Python 多线程不加锁分块读取文件的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

多线程读取或写入，一般会涉及到同步的问题，否则产生的结果是无法预期的。那么在读取一个文件的时候，我们可以通过加锁，但读不像写操作，会导致文件错误，另外锁操作是有一定的耗时。因此通过文件分块，可以比较有效的解决多线程读问题，之前看到有人写的分块操作，比较复杂，需要实现建立好线程以及所读取块信息，在这里，我提供了一种比较简便的方法，以供参考。

#!/user/bin/env python
#_*_coding:utf-8_*_
from threading import Thread
import time
from processing import Process, Queue

from multiprocessing import Process

file_path = 't'
fd = open(file_path, 'r')


def deal(thread_num):

 i = 1
 line_list = []

 #20是我的文件行数，正式情况下可以通过wc -l t获取
 while i <= 20/thread_num:
 line_list.append(fd.readline())
 i += 1
 return line_list


def todo(thread_name, line_list):
 # print 'thread_name:',thread_name,'start'
 for line in line_list:
 print str(thread_name) + ' counsume:' + line
 # print 'thread_name:', thread_name, 'end'


if __name__ == '__main__':
 thread_num = 10
 thread_list = []
 for i in range(thread_num):
 line_list = deal(thread_num)
 t = Thread(target=todo, args=[i, line_list])
 t.start()
 thread_list.append(t)

 for t in thread_list:
 t.join()

下面是文件格式：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

运行的结果如下：

Python 多线程不加锁分块读取文件

以上这篇Python 多线程不加锁分块读取文件的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Python函数定义及传参方式详解(4种)

    Python函数定义及传参方式详解(4种)

    这篇文章主要介绍了Python函数定义及传参方式详解(4种)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-03-03
  • TensorFlow模型保存和提取的方法

    TensorFlow模型保存和提取的方法

    这篇文章主要为大家详细介绍了TensorFlow模型保存和提取的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2018-03-03
  • python 并发编程 非阻塞IO模型原理解析

    python 并发编程 非阻塞IO模型原理解析

    这篇文章主要介绍了python 并发编程 非阻塞IO模型原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • python中的eval函数使用实例

    python中的eval函数使用实例

    eval() 函数用来执行一个字符串表达式，并返回表达式的值，这篇文章主要介绍了python中的eval函数,需要的朋友可以参考下
    2022-11-11
  • 100行Python代码实现每天不同时间段定时给女友发消息

    100行Python代码实现每天不同时间段定时给女友发消息

    这篇文章主要介绍了100行Python代码，每天不同时间段定时给女友发消息,本文给出了实现思路，代码简单易懂非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下
    2019-09-09
  • Python selenium get_cookies获取cookie不全的解决方案

    Python selenium get_cookies获取cookie不全的解决方案

    之前使用爬虫时最让我头疼的就是cookie失效的问题了,下面这篇文章主要给大家介绍了关于Python selenium get_cookies获取cookie不全的解决方案,需要的朋友可以参考下
    2022-10-10
  • python添加模块搜索路径方法

    python添加模块搜索路径方法

    下面小编就为大家带来一篇python添加模块搜索路径方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-09-09
  • python中的布隆过滤器用法及原理详解

    python中的布隆过滤器用法及原理详解

    这篇文章主要介绍了python中的布隆过滤器用法及原理详解,布隆过滤器是一种概率空间高效的数据结构,它与hashmap非常相似，用于检索一个元素是否在一个集合中。它在检索元素是否存在时，能很好地取舍空间使用率与误报比例,需要的朋友可以参考下
    2023-07-07
  • 详解如何基于Pyecharts绘制常见的直角坐标系图表

    详解如何基于Pyecharts绘制常见的直角坐标系图表

    pyecharts是基于前端可视化框架echarts的Python可视化库,下面这篇文章主要给大家介绍了关于如何基于Pyecharts绘制常见的直角坐标系图表的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-04-04
  • 记录Python脚本的运行日志的方法

    记录Python脚本的运行日志的方法

    这篇文章主要介绍了记录Python脚本的运行日志的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-06-06

最新评论