用python 批量操作redis数据库

 更新时间:2021年03月09日 15:26:29   作者:binger0712  
这篇文章主要介绍了如何用python 批量操作redis数据库,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下

方法一:使用 pipeline

  使用pipelining 发送命令时,redis server必须部分请求放到队列中(使用内存)执行完毕后一次性发送结果,在 pipeline 使用期间,将“独占”链接,无法进行非“管道”类型的其他操作,直至 pipeline 关闭;如果 pipeline 的指令集很多很庞大,为了不影响其他操作(redis 最大时间lua-time-limit默认是5s),可以使用其他新建新链接操作。批量操作如下:

import redis

r = redis.Redis(host='127.0.0.1', port=6379, password='1234567890')
with r.pipeline() as ctx:
  a = time.time()
  ctx.hset('current', "time2", a)
  ctx.hset('current', "time3", a)
  res = ctx.execute()
  print("result: ", res)

使用 pipe line 以乐观锁的形式执行事务操作

# -*- coding:utf-8 -*-

import redis
from redis import WatchError
from concurrent.futures import ProcessPoolExecutor

r = redis.Redis(host='127.0.0.1', port=6379)

# 减库存函数, 循环直到减库存完成
# 库存充足, 减库存成功, 返回True
# 库存不足, 减库存失败, 返回False
def decr_stock():
  # python中redis事务是通过pipeline的封装实现的
  with r.pipeline() as pipe:
    while True:
      try:
        # watch库存键, multi后如果该key被其他客户端改变, 事务操作会抛出WatchError异常
        pipe.watch('stock:count')
        count = int(pipe.get('stock:count'))
        if count > 0: # 有库存
          # 事务开始
          pipe.multi() # multi 判断 watch 监控的 key 是否被其他客户端改变
          pipe.decr('stock:count')
          # 把命令推送过去
          # execute返回命令执行结果列表, 这里只有一个decr返回当前值
          result = pipe.execute()[0]
          print("result: ", result)
          return True
        else:
          return False
      except WatchError as e:
        # 打印WatchError异常, 观察被watch锁住的情况
        print(e.args)
      finally:
        pipe.unwatch()


def worker():
  while True:
    # 没有库存就退出
    if not decr_stock():
      break


# 实验开始
# 设置库存为100
r.set("stock:count", 100)

# 多进程模拟多个客户端提交
with ProcessPoolExecutor(max_workers=2) as pool:
  for _ in range(10):
    pool.submit(worker)

方法二:使用 register_script 

分布执行,发送脚本到redis服务器,获取一个本次连接的一个调用句柄,根据此句柄可以无数次执行不同参数调用

import redis
import time

  r = redis.Redis(host='127.0.0.1', port=31320, password='12345678')
  
  lua = """
  local key = KEYS[1]
  local field = ARGV[1]
  local timestamp_new = ARGV[2]
  
  -- get timestamp of the key in redis
  local timestamp_old = redis.call('hget', key, field)
  -- if timestamp_old == nil, it means the key is not exist
  if timestamp_old == nil or timestamp_old == false or timestamp_new > timestamp_old then
    redis.call('hset', key, field .. 1, timestamp_new)
    -- timestamp_new > timestamp_old
    return redis.pcall('hset', key, field, timestamp_new)
  end
  
  """

  cmd = r.register_script(lua)

  cur_time = time.time()
  cmd(keys=['current'], args=["time", cur_time])

register_script 调用 lua 来实现,需要注意 redis.call(method, key, field) 的返回值(nil,false,1),此处没有键值返回的是false。如果中间有错误,所有的语句不时不生效。

方法三:使用 script_load 和 evalsha

简而言之,通过 script_load 发送给redis服务器,使加载 lua 脚本,并常驻内存,返回标志,通过 evalsha 按标志进行执行,此连接脱离本次redis 客户端。

import redis
import time

  r = redis.Redis(host='127.0.0.1', port=31320, password='12345678')
  
  lua = """
  local key = KEYS[1]
  local field = ARGV[1]
  local timestamp_new = ARGV[2]
  
  -- get timestamp of the key in redis
  local timestamp_old = redis.call('hget', key, field)
  -- if timestamp_old == nil, it means the key is not exist
  if timestamp_old == nil or timestamp_old == false or timestamp_new > timestamp_old then
    redis.call('hset', key, field .. 1, timestamp_new)
    -- timestamp_new > timestamp_old
    return redis.pcall('hset', key, field, timestamp_new)
  end
  
  """
  sha = r.script_load(lua)
  print(r.evalsha(sha, 1, 'current', 'time', time.time()))

Redis 管理Lua脚本:(Python下为 script_... )

  • script load

此命令用于将Lua脚本加载到Redis内存中

  • script exists

scripts exists sha1 [sha1 …]  
此命令用于判断sha1是否已经加载到Redis内存中

  • script flush 

此命令用于清除Redis内存已经加载的所有Lua脚本,在执行script flush后,所有 sha 不复存在。

  • script kill 

此命令用于杀掉正在执行的Lua脚本。

方法四:eval

使用方法与方法三类似,但是eval是一次性请求,每次请求,必须携带 lua 脚本

以上就是用python 批量操作redis数据库的详细内容,更多关于python 批量操作redis数据库的资料请关注脚本之家其它相关文章!

相关文章

  • Python将脚本程序转变为可执行程序的实现

    Python将脚本程序转变为可执行程序的实现

    本文主要介绍了Python将脚本程序转变为可执行程序的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-02-02
  • 详解pygame中Rect对象

    详解pygame中Rect对象

    Rect是pygame中的一个创建矩形的对象,它包含一些属性主要是两块:坐标和长宽,Pygame 通过 Rect 对象存储和操作矩形区域,这篇文章主要介绍了pygame中Rect对象,需要的朋友可以参考下
    2022-07-07
  • Python ttkbootstrap 制作账户注册信息界面的案例代码

    Python ttkbootstrap 制作账户注册信息界面的案例代码

    ttkbootstrap 是一个基于 tkinter 的界面美化库,使用这个工具可以开发出类似前端 bootstrap 风格的 tkinter 桌面程序。本文重点给大家介绍Python ttkbootstrap 制作账户注册信息界面的案例代码,感兴趣的朋友一起看看吧
    2022-02-02
  • python按综合、销量排序抓取100页的淘宝商品列表信息

    python按综合、销量排序抓取100页的淘宝商品列表信息

    这篇文章主要为大家详细介绍了python按综合、销量排序抓取100页的淘宝商品列表信息,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-02-02
  • Matlab、Python为工具解析数据可视化之美

    Matlab、Python为工具解析数据可视化之美

    下面介绍一些数据可视化的作品(包含部分代码),主要是地学领域,可迁移至其他学科,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2021-11-11
  • Python基本数据结构之字典类型dict用法分析

    Python基本数据结构之字典类型dict用法分析

    这篇文章主要介绍了Python基本数据结构之字典类型dict用法,结合实例形式分析了Python字典类型dict概念、原理、定义及基本使用技巧,需要的朋友可以参考下
    2019-06-06
  • Python操作RabbitMQ服务器实现消息队列的路由功能

    Python操作RabbitMQ服务器实现消息队列的路由功能

    RabbitMQ是一个消息队列服务器,这里我们针对Python+Pika+RabbitMQ的服务器端环境,来看一下如何使用Python操作RabbitMQ服务器实现消息队列的路由功能
    2016-06-06
  • python concurrent.futures模块的使用测试

    python concurrent.futures模块的使用测试

    大家都知道concurrent.futures 是 3.2 中引入的新模块,它为异步执行可调用对象提供了高层接口,今天通过本文给大家介绍python concurrent.futures模块的使用测试 ,感兴趣的朋友一起看看吧
    2021-07-07
  • Python(PyS60)实现简单语音整点报时

    Python(PyS60)实现简单语音整点报时

    这篇文章主要为大家详细介绍了Python(PyS60)实现简单语音整点报时,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-11-11
  • 如何通过Python实现标签云算法

    如何通过Python实现标签云算法

    这篇文章主要介绍了如何通过Python实现标签云算法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-07-07

最新评论