Pandas 多进程处理数据提高速度
更新时间：2022年04月06日 08:40:24 作者：Python学习与数据挖掘
这篇文章主要介绍了Pandas 多进程处理数据提高速度，Pandas多进程的方法，pandarallel 库，下面具体的测试方法,需要的朋友可以参考一下，希望对你的学习有所帮助
前言：
python 有自己的多进包 multiprocessing 去实现并行计算，但在Pandas处理数据中，使用 multiprocessing 并不好使，只听见风扇转啊转，就不见运行完毕。
为了提高一点数据清洗的速度，找到一个Pandas多进程的方法，pandarallel 库，做了一下测试。下面来看看具体过程吧
【注】文末提供技术交流方式
小数据集（先试过了1w）可能多进程还没单进程快，因为进程开启关闭也要一点时间。于是我弄了 100w 数据来测试：
利用以上数据做以下处理：
- 剔除 titile，comment 两列文本中的表情符号
- title，comment 两列做一个分词处理，覆盖原来的列
1、单进程
在交互式环境中输入如下命令：
'''单进程'''
import jieba
import re
import time
import pandas as pd
def filter_emoji(desstr, restr=''):
if (desstr is None) or str(desstr) == 'nan':
return ''
# 过滤表情
try:
co = re.compile(u'[\U00010000-\U0010ffff]')
except:
co = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')
return co.sub(restr, desstr)
if __name__ == '__main__':
start = time.time()
data = pd.read_csv('feike.csv',encoding='gbk')
data['comment'] = data['comment'].map(filter_emoji)
data['title'] = data['title'].map(filter_emoji)
data['comment'] = data['comment'].map(lambda s: jieba.lcut(s))
data['title'] = data['title'].map(lambda s: jieba.lcut(s))
end = time.time()
print(end - start)输出：
在单进程的情况下，可以看到用时 294s，接近 5min 了。
2、多进程
multiprocessing多进程写法，这种写法网上一搜一大把，代码没有错，多进程任务可以执行。
例如run_task 函数中的任务是爬虫代码时，没有什么问题，但如果是数据清洗的代码，我测试就很久都跑不出来：
接下来换成Pandas多进程 pandarallel 的写法就可以：
'''pandarallel 多进程'''
import jieba
import re
import time
import pandas as pd
from pandarallel import pandarallel
pandarallel.initialize(nb_workers=4)
def filter_emoji(desstr, restr=''):
if (desstr is None) or str(desstr) == 'nan':
return ''
# 过滤表情
try:
co = re.compile(u'[\U00010000-\U0010ffff]')
except:
co = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')
return co.sub(restr, desstr)
if __name__ == '__main__':
start = time.time()
data = data = pd.read_csv('feike.csv',encoding='gbk')
data['comment'] = data['comment'].parallel_apply(filter_emoji)
data['title'] = data['title'].parallel_apply(filter_emoji)
data['comment'] = data['comment'].parallel_apply(lambda s: jieba.lcut(s))
data['title'] = data['title'].parallel_apply(lambda s: jieba.lcut(s))
end = time.time()
print(end - start)输出：
可以看到改写后时间用时 154s（2min30s），比单进程快了一倍。关于 pandarallel 可以查看文档
对应的多进程写法函数对照表，Pandas中的 apply，applymap，map 三个函数的区别，写对应的代码：
到此这篇关于Pandas 多进程处理数据提高速度的文章就介绍到这了,更多相关Pandas 多进程处理数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要为大家介绍了Python全栈之JS，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-01-01
Python3.6+Django2.0以上 xadmin站点的配置和使用教程图解
django自带的admin站点虽然功能强大，但是界面不是很好看。这篇文章主要介绍了Python3.6+Django2.0以上 xadmin站点的配置和使用 ，本文图文并茂给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-06-06
这篇文章主要介绍了Pyqt5 关于流式布局和滚动条的综合使用示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-03-03
这篇文章主要介绍了python中特殊文件和特殊函数的相关知识，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2022-02-02
这篇文章主要介绍了使用Selenium自动化爬取b站主播头像并以昵称命名保存到本地的方法，代码简单完整,对于大家练习Selenium自动化有一定的帮助,需要的朋友可以参考下2021-04-04
这篇文章主要介绍了如何实现Python 最短匹配模式，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-07-07
今天小编就为大家分享一篇python 信息同时输出到控制台与文件的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
这篇文章主要介绍了Python基于win32ui模块创建弹出式菜单,结合实例形式分析了Python使用win32ui模块创建弹出式菜单的具体步骤与相关操作技巧,并附带说明了win32ui模块的安装命令,需要的朋友可以参考下2018-05-05
钩子函数（hook function）是把我们自己实现的hook函数在某一时刻挂接到目标挂载点上，这篇文章主要介绍了python强大的hook函数使用及应用场景,需要的朋友可以参考下2023-05-05
python gui开发——制作抖音无水印视频下载工具(附源码)
这篇文章主要介绍了python gui开发——制作抖音无水印视频下载工具(附源码)的相关资料，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下2021-02-02
最新评论