脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python异步读写Mongodb

基于python3.7利用Motor来异步读写Mongodb提高效率(推荐)

 更新时间：2020年04月29日 09:17:50   作者：刘悦的技术博客  
Motor是一个异步mongodb driver，支持异步读写mongodb。它通常用在基于Tornado的异步web服务器中。这篇文章主要介绍了基于python3.7利用Motor来异步读写Mongodb提高效率,需要的朋友可以参考下

如果使用Python做大型海量数据批量任务时，并且backend用mongodb做数据储存时，常常面临大量读写数据库的情况。尤其是大量更新任务，由于不能批量操作，我们知道pymongo是同步任务机制，相当耗时。

如果采用多线程、多进程的方案确实有效，但编写麻烦、消耗系统资源大（pymongo还不允许fork线程中共用连接）。这里主要瓶颈在于IO，使用单线程异步操作就会效果很好。

Motor是一个异步mongodb driver，支持异步读写mongodb。它通常用在基于Tornado的异步web服务器中。

Motor同时支持使用asyncio（Python3.4以上标准库）作为异步模型，使用起来十分方便。

我们来测试一下效率，使用传统pymongo来进行批量读写 mongo_test.py:

host = '127.0.0.1'
port = 27017
database = 'LiePin'

import time

start = time.clock()

from pymongo import MongoClient

connection = MongoClient(
 host,
 port
)
db = connection[database]

for doc in db.LiePin_Analysis1.find({}, ['_id', 'JobTitle', 'is_end']):
 db.LiePin_Analysis1.update_one({'_id': doc.get('_id')}, {
  '$set': {
   'is_end': 1
  }
 })

elapsed = (time.clock() - start)
print("Time used:",elapsed)

运行一下，发现用了4秒左右

再使用motor以异步的形式来编写脚本 motor_test.py

host = '127.0.0.1'
port = 27017
database = 'LiePin'

import time

start = time.clock()

import asyncio
from motor.motor_asyncio import AsyncIOMotorClient

connection = AsyncIOMotorClient(
 host,
 port
)
db = connection[database]

async def run():
 async for doc in db.LiePin_Analysis1.find({}, ['_id', 'JobTitle', 'is_end']):
  db.LiePin_Analysis1.update_one({'_id': doc.get('_id')}, {'$set': {'is_end':0}})

asyncio.get_event_loop().run_until_complete(run())

elapsed = (time.clock() - start)
print("Time used:",elapsed)

仅仅1秒左右就完成了任务

效率由此可见一斑

到此这篇关于基于python3.7利用Motor来异步读写Mongodb提高效率(推荐)的文章就介绍到这了,更多相关python异步读写Mongodb内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • 解决pytorch报错:AssertionError: Invalid device id的问题

    解决pytorch报错:AssertionError: Invalid device id的问题

    今天小编就为大家分享一篇解决pytorch报错:AssertionError: Invalid device id的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • 深入理解Django中内置的用户认证

    深入理解Django中内置的用户认证

    Django自带一个用户认证系统,这个系统处理用户帐户、组、权限和基于cookie的会话，下面这篇文章就来给大家介绍了关于Django中内置的用户认证的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考下。
    2017-10-10
  • Python使用redis pool的一种单例实现方式

    Python使用redis pool的一种单例实现方式

    这篇文章主要介绍了Python使用redis pool的一种单例实现方式,结合实例形式分析了Python操作redis模块实现共享同一个连接池的相关技巧,需要的朋友可以参考下
    2016-04-04
  • Python numpy 模块介绍

    Python numpy 模块介绍

    这篇文章主要介绍了Python numpy 模块，在motplotlib的学习过程中，我们使用最多的就是numpy模块。下面我们将使用numpy进行创建数组、切片、索引、广播等功能实操,需要的朋友可以参考一下
    2022-01-01
  • Python 正则表达式(?=...)和(?＜=...)符号的使用

    Python 正则表达式(?=...)和(?＜=...)符号的使用

    本文主要介绍Python 正则表达式(?=...)和(?＜=...)符号的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-05-05
  • Django之无名分组和有名分组的实现

    Django之无名分组和有名分组的实现

    这篇文章主要介绍了Django之无名分组和有名分组,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2019-04-04
  • python+openCV对视频进行截取的实现

    python+openCV对视频进行截取的实现

    这篇文章主要介绍了python+openCV对视频进行截取的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-11-11
  • Python+Tkinter制作专属图形化界面

    Python+Tkinter制作专属图形化界面

    这篇文章主要是带着大家通过Python Tkinter制作一个属于自己的GUI图形化界面，可以用于设计签名的哦，感兴趣的小伙伴快跟随小编一起学习一下吧
    2022-04-04
  • python 在服务器上调用数据库特别慢的解决过程

    python 在服务器上调用数据库特别慢的解决过程

    这篇文章主要介绍了python 在服务器上调用数据库特别慢的解决过程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-04-04
  • pyside写ui界面入门示例

    pyside写ui界面入门示例

    PySide 是一个python绑定的跨平台GUI Qt库。目前，支持Python的Qt库有两个PyQt和PySide。下面写一个简单的hello程序学习他的使用方法
    2014-01-01

最新评论