python流水线框架pypeln的安装使用教程

更新时间：2021年05月13日 09:39:47 作者：IE06

这篇文章主要介绍了python流水线框架pypeln的安装使用教程,通过安装pip install pypeln，基本元素在文中给大家介绍过，需要的朋友可以参考下

1. 安装和入门使用

安装pip install pypeln，基本元素如下：

在这里插入图片描述

2 基于multiprocessing.Process

这个是基于多进程。

import pypeln as pl
import time
from random import random

def slow_add1(x):
    time.sleep(random()) # <= some slow computation
    return x + 1

def slow_gt3(x):
    time.sleep(random()) # <= some slow computation
    return x > 3

data = range(10) # [0, 1, 2, ..., 9] 

stage = pl.process.map(slow_add1, data, workers=3, maxsize=4)
stage = pl.process.filter(slow_gt3, stage, workers=2)

data = list(stage) # e.g. [5, 6, 9, 4, 8, 10, 7]

3 基于threading.Thread

顾名思义，基于多线程。

import pypeln as pl
import time
from random import random

def slow_add1(x):
    time.sleep(random()) # <= some slow computation
    return x + 1

def slow_gt3(x):
    time.sleep(random()) # <= some slow computation
    return x > 3

data = range(10) # [0, 1, 2, ..., 9] 

stage = pl.thread.map(slow_add1, data, workers=3, maxsize=4)
stage = pl.thread.filter(slow_gt3, stage, workers=2)

data = list(stage) # e.g. [5, 6, 9, 4, 8, 10, 7]

4 基于asyncio.Task

协程，异步io。

import pypeln as pl
import asyncio
from random import random

async def slow_add1(x):
    await asyncio.sleep(random()) # <= some slow computation
    return x + 1

async def slow_gt3(x):
    await asyncio.sleep(random()) # <= some slow computation
    return x > 3

data = range(10) # [0, 1, 2, ..., 9] 

stage = pl.task.map(slow_add1, data, workers=3, maxsize=4)
stage = pl.task.filter(slow_gt3, stage, workers=2)

data = list(stage) # e.g. [5, 6, 9, 4, 8, 10, 7]

5 三者性能对比

IO 密集型应用CPU等待IO时间远大于CPU 自身运行时间，太浪费；常见的 IO 密集型业务包括：浏览器交互、磁盘请求、网络爬虫、数据库请求等。
Python 世界对于 IO 密集型场景的并发提升有 3 种方法：多进程、多线程、异步 IO(asyncio)。理论上讲asyncio是性能最高的，原因如下：
1.进程、线程会有CPU上下文切换
2.进程、线程需要内核态和用户态的交互，性能开销大；而协程对内核透明的,只在用户态运行
3.进程、线程并不可以无限创建，最佳实践一般是 CPU*2；而协程并发能力强，并发上限理论上取决于操作系统IO多路复用(Linux下是 epoll)可注册的文件描述符的极限

在这里插入图片描述

下面是一个数据库访问的测试：

在这里插入图片描述

内存：
串行：75M
多进程：1.4G
多线程：150M
asyncio：120M

以上就是python流水线框架pypeln的安装使用教程的详细内容，更多关于python流水线框架的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

Python基于keras训练实现微笑识别的示例详解
Keras是一个由Python编写的开源人工神经网络库，可用于深度学习模型的设计、调试、评估、应用和可视化。本文将基于keras训练实现微笑识别效果，需要的可以参考一下
2022-01-01
Django中自定义admin Xadmin的实现代码
这篇文章主要介绍了Django中自定义admin---Xadmin的实现代码，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值 ,需要的朋友可以参考下
2019-08-08
Python入门之三角函数atan2()函数详解
这篇文章主要介绍了Python入门之三角函数atan2()函数详解，分享了其实例，具有一定参考价值，需要的朋友可以了解下。
2017-11-11
Python内建序列通用操作6种实现方法
这篇文章主要介绍了Python内建序列通用操作6种实现方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-03-03
如何利用python读取图片属性信息
这篇文章主要介绍了如何利用python读取图片属性信息，文章围绕python读取信息相关资料展开全文，具有一定的参考价值，需要的小伙伴可以参考一下
2022-03-03
解决nohup重定向python输出到文件不成功的问题
今天小编就为大家分享一篇解决nohup重定向python输出到文件不成功的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-05-05
pyinstaller打包可执行程序过程中的常见错误解决
这篇文章主要介绍了pyinstaller打包可执行程序过程中的常见错误解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-11-11
一文带你了解CNN(卷积神经网络)
CNN是神经网络中的一种，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。本文主要讲解了CNN(卷积神经网络)的基础内容，想了解更多的小伙伴可以看一看这篇文章
2021-09-09
Django框架自定义session处理操作示例
这篇文章主要介绍了Django框架自定义session处理操作,结合实例形式分析了Django框架session操作的原理以及基于session的登陆、验证等相关操作技巧,需要的朋友可以参考下
2019-05-05
pyinstaller参数介绍以及总结详解
这篇文章主要介绍了pyinstaller参数介绍以及总结详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-07-07