Redis缓存使用的BigKey问题解决

更新时间：2025年05月26日 10:01:49 作者：王军新

BigKey在Redis中存储的单个Key对应的Value过大,本文主要介绍了Redis缓存使用的BigKey问题解决,具有一定的参考价值,感兴趣的可以了解一下

一、什么是 BigKey？

BigKey 指在 Redis 中存储的单个 Key 对应的 Value 过大，通常表现为：

String 类型：Value 长度 > 10KB。
Hash/List/Set/ZSet：元素数量 > 5,000 或总大小 > 10MB。

二、BigKey 的危害

问题	影响
内存不均	导致集群节点内存倾斜，可能触发 OOM。
阻塞请求	单线程模型下，操作 BigKey 耗时高，阻塞其他命令（如 `DEL` 大 Key 卡顿）。
网络拥塞	大 Value 传输占用带宽，影响其他请求延迟。
持久化故障	AOF/RDB 保存大 Key 时耗时剧增，甚至失败。

三、如何发现 BigKey？

1. 使用 Redis 内置命令 redis-cli --bigkeys

# 扫描 BigKey（Redis 4.0+）
redis-cli --bigkeys

# 输出示例（汇总每种数据类型的最大 Key）
[00.00%] Biggest string found so far 'user' with 10240 bytes
[00.00%] Biggest hash   found so far 'product' with 5000 fields

缺点：只能返回每种类型的最大 Key，无法全面扫描。

2. 使用 Redis 内置命令 MEMORY USAGE

# 查看指定 Key 的内存占用（Redis 4.0+）
MEMORY USAGE user

缺点：只能返回指定Key的信息。

3. 使用 Redis 内置命令 DEBUG OBJECT

# 查看指定 Key 信息
DEBUG OBJECT user

缺点：只能返回指定Key的信息。

4. 使用 Redis 内置命令 SCAN + MEMORY USAGE 或 DEBUG OBJECT

使用sacn 命令扫描redis 中的key，结合 memory usage 或 debug object 判断key 值大小

SCAN 0 MATCH order:* COUNT 100 
HSCAN user:1000 0  # 遍历 Hash 的字段
SSCAN followers 0  # 遍历 Set 的成员
ZSCAN rankings 0   # 遍历 ZSet 的成员和分数

可循环定时执行scan命令遍历出bigKey

5. 使用第三方工具

rdb-tools：分析 RDB 文件，统计大 Key。

pip install rdbtools
rdb --command memory dump.rdb --bytes 10240 --type string

RedisInsight：图形化工具直观查看内存分布。

四、BigKey 的解决方案

1. 拆分大 Key

String 类型：拆分为多个子 Key。

# 原始 Key
SET user:1000:profile "超大JSON数据..."
# 拆分为
SET user:1000:profile:part1 "JSON片段1"
SET user:1000:profile:part2 "JSON片段2"

Hash/List/Set/ZSet：按字段或范围分片。

# 原始 Hash
HSET product:999:details name "手机" price 5000 ... (5000个字段)
# 拆分为
HSET product:999:details:1 name "手机" price 5000
HSET product:999:details:2 field1001 "value1001" ...

2. 使用合适的数据结构

替代方案：

场景	错误用法	优化方案
存储用户标签	`SET` 存储 JSON 列表	改用 `SET` 或 `ZSET`
频繁更新的计数器	`String` + `INCR`	改用 `HASH` 分片存储

3. 客户端缓存

对热点 BigKey 使用本地缓存（如 Caffeine），减少 Redis 访问。

到此这篇关于Redis缓存使用的BigKey问题解决的文章就介绍到这了,更多相关Redis BigKey问题内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Redis
BigKey

redis慢查询日志的访问和管理方式
这篇文章主要介绍了redis慢查询日志的访问和管理方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-12-12
Redis哨兵集群模式全方位解读
Redis哨兵集群通过心跳检测实现主从自动故障转移,当主节点宕机时,依据断开时间、优先级、offset和运行ID规则选举新主,脑裂问题因网络分割导致数据冲突,可通过配置参数限制同步延迟和从节点数量来避免数据丢失
2025-09-09
Redis缓存lettuce更换为Jedis的实现步骤
在springboot中引入spring-boot-starter-data-redis依赖时,默认使用的是lettuce,如果不想使用lettuce而是使用Jedis连接池,本文主要介绍了Redis缓存lettuce更换为Jedis的实现步骤,感兴趣的可以了解一下
2024-08-08
Redis分布式锁中Redission底层实现方式
Redission基于Redis原子操作和Lua脚本实现分布式锁,通过SETNX命令、看门狗续期、可重入机制及异常处理,确保锁的可靠性和一致性,是Java项目中高效解决并发控制问题的优选方案
2025-08-08
redis配置认证密码的方法
这篇文章主要介绍了redis配置认证密码的方法,需要的朋友可以参考下
2016-08-08
为啥Redis使用pipelining会更快
这篇文章主要介绍了为啥Redis使用pipelining会更快,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-11-11
Linux下Redis集群搭建全过程(主从+哨兵)
这篇文章主要介绍了Linux下Redis集群搭建全过程(主从+哨兵)，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2023-07-07
shell脚本批量导出redis key-value方式
为避免keys全量扫描导致Redis卡顿,可先通过dump.rdb备份文件在本地恢复,再使用scan命令渐进导出key-value,通过CNT和INTERVAL参数控制负载,且scan不指定游标可减少阻塞
2025-08-08
如何使用 redis 消息队列完成秒杀过期订单处理操作(二)
这篇文章主要介绍了如何使用 redis 消息队列完成秒杀过期订单处理操作,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧
2024-07-07
Redis Sorted Set类型使用及应用场景
Sorted Set是Redis常用的一种是数据类型,本文主要介绍了Redis Sorted Set类型使用及应用场景,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
2024-06-06