Redis大Key问题识别、处理与预防全攻略

# 扫描所有Key大小（生产慎用！）  
redis-cli --bigkeys  

# 输出示例  
[00.00%] Biggest string found 'user:1001:html' has 102400 bytes  
[00.00%] Biggest hash   found 'product:2001:props' has 1000 fields  

pip install rdbtools  
rdb -c memory dump.rdb --bytes 1024 > memory.csv  
sort -k4nr memory.csv | head -10  # 按内存排序取Top10  

# 监控内存增长  
redis-cli -p 6379 --memkeys  

# 添加好友时自动分片  
shard_id = friend_id % 10  
redis.sadd(f'friends:1001:part{shard_id}', friend_id)  

# 查询是否好友  
def is_friend(user_id, friend_id):  
    shard_id = friend_id % 10  
    return redis.sismember(f'friends:{user_id}:part{shard_id}', friend_id)  

import zlib, json  

data = {'info': '超长字符串...'}  # 原始数据  

# 写入时压缩  
compressed = zlib.compress(json.dumps(data).encode())  
redis.set('user:1001:z', compressed)  

# 读取时解压  
decompressed = json.loads(zlib.decompress(redis.get('user:1001:z')))  

# 原始写法  
SET user:1001:name "张..."  
SET user:1001:email "user@example.com"  

# 优化写法  
HSET user:1001 name "张..." email "user@example.com"  

# 配置ziplist压缩  
hash-max-ziplist-entries 512  # 字段数≤512时用ziplist  
hash-max-ziplist-value 64      # 字段值≤64字节时用ziplist  

# 危险操作（阻塞15秒！）  
DEL big_set_key  

# 安全操作（后台异步删除）  
UNLINK big_set_key  

# 配置自动异步删除  
lazyfree-lazy-eviction yes  

# 在写入前检查大小  
def safe_set(key, value):  
    if len(value) > 10 * 1024:  
        raise Exception("Value too large!")  
    redis.set(key, value)  

# 监控大Key写入（Redis 6.0+）  
redis-cli --hotkeys  

# 定期扫描并拆分大Key  
for key in redis.scan_iter():  
    if redis.memory_usage(key) > 10*1024:  
        split_big_key(key)  # 调用拆分函数