Redis缓存过期淘汰策略用法解读

先来看下我们遇到的问题

• 生产上redis内存需要设置多少才合适
• 如何配置、修改redis的内存大小，具体怎么操作
• 如果内存满了Redis怎么办
• redis清理内存的方式选择那种：定期删除和惰性删
• 怎么选择redis缓存淘汰策略

1.redis内存

1.1 查看Redis内存

• 配置文件查看Redis最大占用内存

maxmemory <bytes>

打开redis配置文件，设置maxmemory参数，maxmemory是bytes字节类型，注意类型转换

• 通过命令查看默认的内存大小

127.0.0.1:6379>config get maxmemory

默认内存大小为0吗？那我们之前的数据是怎么保存进去的？

1.2 redis默认内存

如果不设置最大内存或者设置最大内存大小为0，在64位操作系统下不限制内存大小，在32位操作系统下最多使用3GB内存

注意：在64bit系统下，maxmemory设置为0表示不限制redis内存使用

一般生产上你如何配置

一般推荐Redis设置内存为最大物理内存的3/4

1.3 修改redis内存设置

• 通过修改文件配置

maxmemory 1056236

• 通过命令修改，但是redis重启后会失效

127.0.0.1:6379>config set maxmemory 104856986

查看redis内存使用命令

127.0.0.1:6379>info memory

127.0.0.1:6379>config get maxmemory

设置了maxmemory的选项，假如redis内存使用达到了上限，没有加上过期时间就会导致数据写满maxmemory，程序报错，为了避免类似情况，需要使用内存淘汰策略

2.redis过期键的删除策略

如果一个键是过期的，那它到了过期时间之后是不是马上就从内存中被删除了呢？

如果不是，那过期后到底什么时候被删除呢？是什么操作？

redis三种删除策略

2.1 立即删除/定时删除

立即删除能保证内存中数据的最大新鲜度，因为它保证过期键值会在过期后马上被删除，其所占用的内存也会随之释放。但是立即删除对cpu是最不友好的。因为删除操作会占用cpu的时间，如果刚好碰上了cpu很忙的时候，比如正在做交集或排序等计算的时候，就会给cpu造成额外的压力，让CPU心累，时时需要删除，忙死。

这会产生大量的性能消耗，同时也会影响数据的读取操作

总结：对CPU不友好，用处理器性能换取存储空间（拿时间换空间）

2.2 惰性删除

数据到达过期时间，不做处理。等下次访问该数据时，如果未过期，返回数据 ;发现已过期，删除，返回不存在。

惰性删除策略的缺点是，它对内存是最不友好的。

如果一个键已经过期，而这个键又仍然保留在redis中，那么只要这个过期键不被访问，它所占用的内存就不会释放。在使用惰性删除策略时，如果数据库中有非常多的过期键，而这些过期键又恰好没有被访问到的话，那么它们也许永远也不会被删除(除非用户手动执行FLUSHDB)，我们甚至可以将这种情况看作是一种内存泄漏 - 无用的垃圾数据占用了大量的内存。而服务器却不会自己去释放它们，这对于运行状态非常依赖于内存的Redis服务器来说,肯定不是一个好消息

总结：对内存不友好，用存储空间换取处理器性能（拿空间换时间），开启惰性删除淘汰，lazyfree-lazy-eviction=yes

2.3 定期删除策略

定期删除策略是前两种策略的折中： 定期删除策略每隔一段时间执行一次删除过期键操作并通过限制删除操作执行时长和频率来减少删除操作对CPU时间的影响。

周期性轮询redis库中的时效性数据，采用随机抽取的策略，利用过期数据占比的方式控制删除频度

特点1：CPU性能占用设置有峰值，检测频度可自定义设置

特点2：内存压力不是很大，长期占用内存的冷数据会被持续清理

总结：周期性抽查存储空间 (随机抽查，重点抽查) 举例: redis默认每隔100ms检查是否有过期的key，有过期key则删除。注意: redis不是每隔100ms将所有的key检查一次而是随机抽取进行检查(如果每隔100ms.全部key进行检查，redis直接进去ICU)。因此，如果只采用定期删除策略，会导致很多key到时间没有删除。

定期删除策略的难点是确定删除操作执行的时长和频率：如果删除操作执行得太频繁或者执行的时间太长，定期删除策略就会退化成立即删除策略，以至于将CPU时间过多地消耗在删除过期键上面。如果删除操作执行得太少，或者执行的时间太短，定期删除策略又会和惰性删除束略一样，出现浪费内存的情况。因此，如果采用定期删除策略的话，服务器必须根据情况，合理地设置删除操作的执行时长和执行频率。

 上述步骤都过堂了，还有漏洞吗？

• 定期删除时，从来没有被抽查到
• 惰性删除时，也从来没有被点中使用过

大量过期的key堆积在内存中，导致redis内存空间紧张或者很快耗尽

3.缓存淘汰策略

3.1 redis缓存淘汰配置文件

在MEMORY MANAGEMENT中

3.2 LRU和LFU算法的区别

LRU：最近最少使用页面置换算法，淘汰最长时间未被使用的页面，看页面最后一次被使用到发生调度的时间长短，首先淘汰最长时间未被使用的页面。

LFU：最近最不常用页面置换算法，淘汰一定时期内被访问次数最少的页面，看一定时间段内页面被使用的频率，淘汰一定时期内被访问次数最少的页

比如某次时期Time为10分钟，如果每分钟进行一次调页，主存块为3（即只能保存3个页面），若所需页面走向为2 1 2 1 2 3 4，假设到页面4时会发生缺页中断（装不下导致的缓存淘汰）

若按LRU算法，应换页面1(1页面最久未被使用)，但按LFU算法应换页面3(十分钟内,页面3只使用了一次)

可见LRU关键是看页面最后一次被使用到发生调度的时间长短，而LFU关键是看一定时间段内页面被使用的频率

3.3 淘汰策略有哪些(R7版本)

• noeviction：不会驱逐任何key，表示即使内存达到上限也不进行置换，所有能引起内存增加的命令都会返回error
• allkeys-lru：对所有key使用LRU算法进行删除，优先删除掉最近最不经常使用的key，用以保存新数据
• volatile-lru：对所有设置了过期时间的key使用LRU算法进行删除
• allkeys-random：对所有key随机删除
• volatile-random：对所有设置了过期时间的key随机删除
• volatile-ttl：删除马上要过期的key
• allkeys-lfu：对所有key使用LFU算法进行删除
• volatile-lfu：对所有设置了过期时间的key使用LFU算法进行删除

对上面淘汰策略的总结

2个维度：过期键中筛选；所有键中筛选

• 4个方面：LRU LFU random ttl
• 8个选项

4.淘汰策略选择

在所有的key都是最近最经常使用,那么就需要选择allkeys-Iru进行置换最近最不经常使用的key,如果你不确定使用哪种策略,那么推荐使用allkeys-Iru

如果所有的key的访问概率都是差不多的,那么可以选用allkeys-random策略去置换数据

如果对数据有足够的了解,能够为key指定hint(通过expire/ttl指定),那么可以选择volatile-ttl进行置换

总之，选择合适的Redis淘汰策略需要考虑应用程序的数据访问模式和业务需求。

以下是一些具体建议：

• allkeys-lru：适用于缓存场景，优先淘汰最近最少使用的键，以保留最常访问的数据 。
• volatile-lru：适用于数据有过期时间且需要保留热门数据的场景 。
• allkeys-random：适用于数据访问模式不确定或数据访问频率差别不大的情况 。
• volatile-random：适用于需要淘汰一些即将过期的数据，但又不希望完全依赖LRU算法的场景 。
• volatile-ttl：适用于需要快速淘汰即将过期数据的场景，如缓存即将失效的会话信息 。
• allkeys-lfu 或 volatile-lfu：适用于有短时高频访问数据的情况 。
• noeviction：默认策略，当内存不足以容纳新写入数据时，新写入操作会报错，但数据不会被删除 。
• volatile-lfu：适用于设置了过期时间的键中，淘汰访问频率最低的键 。

选择淘汰策略时，还应考虑以下因素：

• 数据的重要性：对于关键业务数据，可能需要更保守的淘汰策略。
• 内存资源：如果有足够的内存，可以考虑保留更多的数据，使用更宽松的淘汰策略。
• 性能影响：某些淘汰策略可能会对性能产生影响，特别是在内存不足时。
• 数据访问模式：如果数据访问模式经常变化，可能需要定期评估和调整淘汰策略。

5. 配置淘汰策略

在Redis的配置文件redis.conf中，你可以设置maxmemory-policy指令来配置淘汰策略。例如，要设置为使用最近最少使用(LRU)策略，你可以添加以下行：

maxmemory-policy allkeys-lru

启动时配置

redis-server --maxmemory-policy allkeys-lru

使用命令配置

CONFIG SET maxmemory-policy allkeys-lru

6.redis缓存淘汰策略配置性能建议

配置Redis缓存淘汰策略时，您应该考虑以下几个性能建议：

• 选择合适的淘汰策略：根据应用程序的特定需求选择合适的淘汰策略。例如，如果数据访问模式具有明显的频率差异，可以选择allkeys-lru或allkeys-lfu策略。
• 设置合理的内存使用上限：通过maxmemory参数设置Redis的内存使用上限，避免使用超过物理内存大小，以免交换到磁盘影响性能。
• 调整采样数量：对于LRU和LFU算法，可以通过maxmemory-samples参数控制每次随机选择的键的数量，以提高算法的精确度，但也会增加CPU开销。
• 监控内存使用：定期使用INFO memory命令监控Redis的内存使用情况，评估当前的淘汰策略是否合适，并根据需要进行调整。
• 合理设置过期时间：为不同的键合理设置过期时间，确保数据及时过期，释放内存。
• 使用持久化存储：对于重要的数据，可以通过RDB或AOF持久化机制，确保数据在内存中被淘汰后可以从持久化存储中恢复。
• 避免存储大键值对：大键值对会影响操作的性能，尽量将大对象分割成多个小对象存储，避免对大键进行操作。
• 检查数据持久化策略：根据业务需求合理选择RDB、AOF或混合持久化方式，非必须情况下可以关闭持久化以提升性能。
• 使用分布式架构：当数据量超过单个Redis实例的内存限制时，可以使用Redis集群分片数据，提高读写速度。

7.总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

最新评论