如何解决缓存数据不一致性问题

 更新时间:2025年01月10日 09:29:28   作者:Wchisper  
文章主要讨论了缓存和数据库数据一致性的问题,包括数据不一致的原因、查询和更新数据的逻辑、缓存双删方案以及优化建议

1. 数据不一致的原因

1.1 双写导致数据不一致

由于分布性系统,不能保证每个节点都可用,所有可能引起 Redis 在极限情况下数据没有写入成功,那么此时缓存中的数据和数据库数据不一致。

数据的更新为什么会成功:因为事务保证数据不管是成功还是失败,都不会有脏数据。

1.2 高并发导致数据不一致

数据在修改的过程中必定会存在网络延时,因为分布式系统节点相互独立部署,那么在并发读的情况之下,还没来得及修改完,那么对于读操作,读到的数据都是老的数据

如果是某些不严谨的情况,无所谓,如果是极致的严谨,那么就不能这么做了。比如我们的环境监测,大气的一些数据会每隔1-2分钟更新,甚至有的是5分钟更新,所以如果读到的是一些老的数据,是没有关系的,因为最终几秒或者几十秒以后会更新,这些数据的来去不会很大,而且我们能容忍一定的误差,所以也就无所谓了。

2. 查询数据的逻辑

先请求先到 Redis,如果命中则返回结果。如果 Redis 中没有数据,则从数据库查询,再写入到缓存中,再返回结果。

3. 更新数据的逻辑

3.1 先删除缓存,再更新数据库

3.1.1 方案一

在并发不高的情况下:先删除 Redis 中的旧数据。更新数据库中的数据。再将数据库中的数据同步到 Redis 中。

3.1.2 方案二

在高并发的情况下,假设有请求 A 进行更新操作,另一个请求 B 进行查询操作,那么有可能会出现:

  1. A 进行更新操作前,先删除了缓存
  2. B 查询发现缓存不存在
  3. B 查询数据库的旧值
  4. B 将旧值写入到缓存
  5. A 执行更新,将新值写入到数据库
  6. 后续的请求因为发现缓存中有数据,导致 A 更新的数据一直无法更新到缓存中,这样便出现了数据库与缓存不一致的情况。

3.2 先更新数据库,再删除缓存

3.2.1 方案一

该方案虽然存在并发问题,但是出现上述情况的概率是极低的,也有一些企业在使用这种方案。

在超高并发下,请求 A 执行更新操作,请求 B 进行查询操作:

  1. B 将新值写入到数据库
  2. A 查询 Redis 得到旧数据
  3. 线程 B 删除缓存
  4. 这样就会导致 A 修改数据 —> A 删除 Redis 之间出现脏数据。

3.2.2 方案二

在超高并发下,请求 A 执行更新操作,请求 B 进行查询操作:

  1. 缓存刚好失效
  2. B 查询数据库,得到一个旧值
  3. A 将新值写入到数据库
  4. 线程 A 删除缓存
  5. B 将旧值写入到缓存
  6. 这样就会导致后续的请求之间出现脏数据。

3.3 缓存双删方案

它的流程为:

  1. 先删除缓存
  2. 再写数据库
  3. 休眠一段时间,再删除缓存

回顾一下方案“先删除缓存,再更新数据库”可能造成数据库与缓存不一致的情况。

假设有请求 A 进行更新操作,另一个请求 B 进行查询操作,如果使用缓存双删策略:

  1. A 进行更新操作前,先删除了缓存
  2. B 查询发现缓存不存在
  3. B 查询数据库的旧值
  4. B 将旧值写入到缓存
  5. A 执行更新,将新值写入到数据库,执行休眠 Thread.sleep(t)
  6. A 苏醒,再次将缓存中的值删除

缓存双删的优点是大大降低了数据库与缓存不一致的概率的发生,注意这里只是降低,并不是说完全的避免,途中红框的地方就是缓存脏数据的时间,缺点为一定程度上降低了吞吐量,因为系统进行了休眠

这里为什么要采用休眠,对数据进行延迟缓存,原因是

  1. 例如:如果在 A 删除缓存之后,数据库修改之间 C 再次请求数据库,将老的信息存储进缓存,那么后续所有的请求打在缓存中,还是获取到老的数据
  2. 在分库分表的情况下,延迟一定的时间,也保证了,修改后的数据全部同步到所有的数据库中。

4. 扩展:其它的解决双写一直问题

通过监听数据库日志,来修改 Redis 的数据,使数据的修改达到准实时的级别,例如:canal。但是这种情况下会有一些时间的延迟,也会短暂的产生脏数据。这种情况适用于写多读少的场景

完全使用缓存作为数据库,后面在定时任务修改数据库数据。这种情况下,没要求对 Redis 的三高要求非常高,可以采用云厂商的 Redis 服务。

读取的时候只提供 Redis,也就是说,当更新操作一开始从 Redis 中删除数据了,用户去读 Redis,如果没有是不会从数据库中读的,因为只提供 Redis 的读取,写入的时候只在数据新增以及更新后才会放入到 Redis,那么如此一来,并发读的时候就不会从数据库读取老的数据并且放入 Redis 中了。没有读到也没关系,做一些空数据的处理,可能会有个几百毫秒或者 1-2s 的延迟,但是可以忍受。但是要注意做好缓存穿透的校验处理。

5. 缓存数据的思考

我们能放入缓存的数据本就不应该是实时性、一致性要求超高的,所以缓存数据的时候加上过期时间,保证每天拿到当前最新数据即可。

我们不应该过度设计,增加系统的复杂性,遇到实时性、一致性要求高的数据,就应该查数据库,即使慢点。

超高并发场景的一致性,都是最终一致性,也就是弱一致性,所以要考虑每一个环节可能失败的情况,补偿 job 也是常有的。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 浅谈Redis如何应对并发访问

    浅谈Redis如何应对并发访问

    本文主要介绍了Redis如何应对并发访问,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-08-08
  • Redis主从集群切换数据丢失的解决方案

    Redis主从集群切换数据丢失的解决方案

    这篇文章主要介绍了Redis主从集群切换数据丢失的解决方案,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-04-04
  • Redis Template实现分布式锁的实例代码

    Redis Template实现分布式锁的实例代码

    使用Redis的SETNX命令获取分布式锁的步骤,接下来通过本文给大家介绍Redis Template实现分布式锁的实例代码,代码简单易懂,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2018-09-09
  • Redis分布式锁解决超卖问题

    Redis分布式锁解决超卖问题

    超卖问题是典型的多线程安全问题,本文就来介绍一下Redis分布式锁解决超卖问题,具有一定的参考价值,感兴趣的可以了解一下
    2023-12-12
  • Redis实现集群搭建+集群读写的示例

    Redis实现集群搭建+集群读写的示例

    本文介绍了Redis集群的搭建和读写操作,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2025-02-02
  • Window下Redis的安装和部署详细图文教程

    Window下Redis的安装和部署详细图文教程

    Windows 版本的 Redis 是 Microsoft 的开源部门提供的 Redis. 这个版本的 Redis 适合开发人员学习使用,生产环境中使用 Linux 系统上的 Redis, 这里讲解了这两种的安装和下载,按照你们需要的liunx 或window步骤来 就可以了
    2024-05-05
  • Redis的缓存更新策略及最佳实践方案

    Redis的缓存更新策略及最佳实践方案

    这篇文章主要介绍了Redis的缓存更新策略及最佳实践方案,当我们向redis插入太多数据,此时就可能会导致缓存中的数据过多,所以redis会对部分数据进行更新,或者把它成为淘汰更合适,需要的朋友可以参考下
    2023-08-08
  • SpringBoot读写Redis客户端并实现Jedis技术切换功能

    SpringBoot读写Redis客户端并实现Jedis技术切换功能

    这篇文章主要介绍了SpringBoot读写Redis客户端并实现技术切换功能,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-01-01
  • Redis并发问题解决方案

    Redis并发问题解决方案

    在当前的互联网环境中,高并发业务场景十分常见,本文就来介绍一下Redis并发问题解决方案,具有一定的参考价值,感兴趣的可以了解一下
    2023-11-11
  • Redis全量同步和增量同步原理

    Redis全量同步和增量同步原理

    主从第一次同步是全量同步:也就是说,当你主从节点连接建立后,需要执行一次全量同步,但如果slave重启后同步,此时slave重启后,slave节点和master节点的数据之间有落后,因此需要进行增量同步,感兴趣的同学可以参考阅读
    2023-04-04

最新评论