Redis如何高效删除大key
大key的删除问题
大key（bigkey）是指 key 的 value 是个庞然大物，例如 Hashes, Sorted Sets, Lists, Sets，日积月累之后，会变得非常大，可能几十上百MB，甚至到GB。
如果对这类大key直接使用 del 命令进行删除，会导致长时间阻塞，甚至崩溃。
因为 del 命令在删除集合类型数据时，时间复杂度为 O(M)，M 是集合中元素的个数。
Redis 是单线程的，单个命令执行时间过长就会阻塞其他命令，容易引起雪崩。
解决方案
不可靠方案：
- 空闲时间删除，如凌晨3-4点删除
可靠方案：
- 渐进式删除
- UNLINK (4.0版本以后)
1.渐进式删除
思路：
分批删除，通过 scan 命令遍历大key，每次取得少部分元素，对其删除，然后再获取和删除下一批元素。
示例：
- 删除大 Hashes
步骤：
（1）key改名，相当于逻辑上把这个key删除了，任何redis命令都访问不到这个key了
（2）小步多批次的删除
伪代码：
# key改名
newkey = "gc:hashes:" + redis.INCR( "gc:index" )
redis.RENAME("my.hash.key", newkey)
# 每次取出100个元素删除
cursor = 0
loop
cursor, hash_keys = redis.HSCAN(newkey, cursor, "COUNT", 100)
if hash_keys count > 0
redis.HDEL(newkey, hash_keys)
end
if cursor == 0
break
end
end- 删除大 Lists
伪代码：
# key改名
newkey = "gc:hashes:" + redis.INCR("gc:index")
redis.RENAME("my.list.key", newkey)
# 删除
while redis.LLEN(newkey) > 0
redis.LTRIM(newkey, 0, -99)
end- 删除大 Sets
伪代码：
# key改名
newkey = "gc:hashes:" + redis.INCR("gc:index")
redis.RENAME("my.set.key", newkey)
# 每次删除100个成员
cursor = 0
loop
cursor, members = redis.SSCAN(newkey, cursor, "COUNT", 100)
if size of members > 0
redis.SREM(newkey, members)
end
if cursor == 0
break
end
end- 删除大 Sorted Sets
伪代码：
# key改名
newkey = "gc:hashes:" + redis.INCR("gc:index")
redis.RENAME("my.zset.key", newkey)
# 删除
while redis.ZCARD(newkey) > 0
redis.ZREMRANGEBYRANK(newkey, 0, 99)
end2.UNLINK
Redis 4.0 推出了一个重要命令 UNLINK，用来拯救 del 删大key的困境。
UNLINK 工作思路：
（1）在所有命名空间中把 key 删掉，立即返回，不阻塞。
（2）后台线程执行真正的释放空间的操作。
UNLINK 基本可以替代 del，但个别场景还是需要 del 的，例如在空间占用积累速度特别快的时候就不适合使用UNLINK，因为 UNLINK 不是立即释放空间。
总结
使用 del 删除大key可能会造成长时间阻塞，甚至崩溃。
可以使用渐进式删除，对 Hashes, Sorted Sets, Lists, Sets 分别处理，思路相同，先逻辑删除，对key改名，使客户端无法使用原key，然后使用批量小步删除。
4.0版本以后可以使用 UNLINK 命令，后台线程释放空间。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Redis的Python客户端redis-py安装使用说明文档
这篇文章主要介绍了Redis的Python客户端redis-py安装使用说明文档,本文讲解了安装方法、入门使用实例、API参考和详细说明,需要的朋友可以参考下2015-06-06
本文主要介绍了Redis排查大key的3种方法小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2023-08-08
Redisson之lock()和tryLock()的区别及说明
这篇文章主要介绍了Redisson之lock()和tryLock()的区别及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-12-12
这篇文章主要给大家分享了一次关于Redis内存诡异增长的排查过程实战记录，文中通过示例代码介绍的非常详细，对大家学习或者使用Redis具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2018-07-07
Redis命令用于在redis服务器上执行某些操作，下面通过本文给大家分享Redis命令和键，需要的的朋友参考下吧2017-08-08
这篇文章主要为大家详细介绍了项目开发时如果出现线上Redis一直报连接超时的问题该如何解决，文中的示例代码简洁易懂，需要的小伙伴可以借鉴一下2023-08-08
Redis中的String类型及使用Redis解决订单秒杀超卖问题
这篇文章主要介绍了Redis中的String类型及使用Redis解决订单秒杀超卖问题,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-11-11
使用Redis中有序集合的特性来实现排行榜是又好又快的选择,一般排行榜都是有实效性的,比如“用户积分榜”,下面这篇文章主要给大家介绍了关于使用redis实现排行榜功能的相关资料,需要的朋友可以参考下2023-04-04
在高并发场景下,可能会因为网络或者服务器原因,造成延迟,同时就是有可能会有人用脚本大量访问你的接口,造成资源崩溃,所以本文给大家介绍了Redis+aop实现接口防刷(幂等)的解决方案,需要的朋友可以参考下2024-03-03
这篇文章主要介绍了Redis 通过 RDB 方式进行数据备份与还原,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-03-03
最新评论