redis中使用bloomfilter的白名单功能解决缓存穿透问题

 更新时间:2023年07月26日 11:47:09   作者:健康平安的活着  
本文主要介绍了redis中使用bloomfilter的白名单功能解决缓存穿透问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

一 缓存预热

1.1 缓存预热

将需要的数据提前缓存到缓存redis中,可以在服务启动时候,或者在使用前一天完成数据的同步等操作。保证后续能够正常使用。

1.2 缓存穿透

在redis中,查询redis缓存数据没有内容,接着查询mysql数据库,也没有需要的内容,做了两次无用的查询。进而造成mysql数据库的负担,造成一系列的风险。

解决办法:bloomfilter+白名单实现过滤。

1.3 白名单的作用

白名单里面有才让允许通过,没有的内容则不允许通过。但是存在误判的情况,比如bloomfilter中存在查询的内容且允许通过,但是并不是我们真正需要的那个内容。

 1.4 白名单入门案例

public class WhiteList {
    public static void main(String[] args) {
        testGuavaWithBloomFilter();
    }
    public static void testGuavaWithBloomFilter()
    {
        //1 创建guava版布隆过滤器
        BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), 100);
        //2 判断指定的元素是否存在
        System.out.println(bloomFilter.mightContain(1));
        System.out.println(bloomFilter.mightContain(2));
        System.out.println();
        //3 讲元素新增进入bloomfilter
        bloomFilter.put(1);
        bloomFilter.put(2);
        System.out.println(bloomFilter.mightContain(1));
        System.out.println(bloomFilter.mightContain(2));
    }
}

结果:

1.5 白名单+过滤器的实现案例

逻辑:   guava布隆过滤器插入100万样本数据并额外10W测试是否存在,这10w的数据在100w的数据可能存在相同的情况,存储到相同位置。比如规则为m%3,则 1,4,7放到同一个位置槽中。

 1.5.1 代码逻辑

1.controller

@RestController
@Slf4j
public class GuvaFilter {
    @Resource
    private GuavaBloomFilterService guavaBloomFilterService;
    @ApiOperation("guava布隆过滤器插入100万样本数据并额外10W测试是否存在")
    @RequestMapping(value = "/guavafilter",method = RequestMethod.GET)
    public void guavaBloomFilter()
    {
        guavaBloomFilterService.guavaBloomFilter();
    }
}

2.service

@Service
@Slf4j
public class GuavaBloomFilterService
{
    //1 定义一个常量
    public static final int _1W = 10000;
    //2 定义我们guava布隆过滤器,初始容量
    public static final int SIZE = 100 * _1W;
    //3 误判率,它越小误判的个数也就越少(思考,是否可以是无限小??没有误判岂不是更好)
    public static double fpp = 0.01;//0.01 0.000000000000001
    //4 创建guava布隆过滤器
    private static BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), SIZE,fpp);
    public void guavaBloomFilter()
    {
        //1 先让bloomFilter加入100W白名单数据
        for (int i = 1; i <= SIZE  ; i++) {
            bloomFilter.put(i);
        }
        //2 故意取10W个不在合法范围内的数据,来进行误判率的演示
        ArrayList<Integer> list = new ArrayList<>(10 * _1W);
        //3 验证
        for (int i = SIZE+1; i <= SIZE+(10 * _1W) ; i++)
        {
            if(bloomFilter.mightContain(i))
            {
                log.info("被误判了:{}",i);
                list.add(i);
            }
        }
        log.info("误判总数量:{}",list.size());
    }
}

3.截图

控制台打印日志:

1.6 bloomfilter总结

bloomfilter作用:查询的内容A,一定不存在,在过滤器中查询肯定没有;如果存在,但是存在误判的情况,但是误判率很小,可以忽略。

1.7 黑名单的使用

黑名单:在黑名单的存在的内容,就不再推荐;不存在则推荐。

应用案例: 抖音等媒体的推荐内容。

到此这篇关于redis中使用bloomfilter的白名单功能解决缓存穿透问题的文章就介绍到这了,更多相关redis bloomfilter解决缓存穿透内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Redis快速实现分布式session的方法详解

    Redis快速实现分布式session的方法详解

    Session是客户端与服务器通讯会话跟踪技术,服务器与客户端保持整个通讯的会话基本信息。本文主要介绍了Redis快速实现分布式session的方法,感兴趣的可以学习一下
    2022-01-01
  • Centos7安装redis的超详细步骤教程

    Centos7安装redis的超详细步骤教程

    Redis是当前比较热门的NOSQL系统之一,它是一个key-value存储系统,下面这篇文章主要介绍了Centos7安装redis的超详细步骤,文中通过图文介绍的非常详细,需要的朋友可以参考下
    2024-10-10
  • Redis实现限流器的三种方法(小结)

    Redis实现限流器的三种方法(小结)

    本文主要介绍了Redis实现限流器的三种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-05-05
  • Linux环境搭建Redis6.x集群环境详解(主从复制)

    Linux环境搭建Redis6.x集群环境详解(主从复制)

    本文详细介绍了如何搭建和管理一个Redis集群,包括主从复制、集群配置、批量脚本、集群启动和关闭、节点的增删、投票机制以及主节点宕机演示,通过这些步骤,可以实现Redis集群的高可用性和性能扩展
    2026-03-03
  • Redis利用互斥锁解决缓存击穿问题

    Redis利用互斥锁解决缓存击穿问题

    使用互斥锁可以有效防止缓存击穿的情况发生,它能够保证在缓存失效时,只有一个线程或者进程能够去加载数据,其余的请求都会等待这个加载过程完成,虽然这种方式会牺牲一部分性能,但它大大提高了系统的稳定性和可用性
    2024-08-08
  • Redisson如何解决redis分布式锁过期时间到了业务没执行完问题

    Redisson如何解决redis分布式锁过期时间到了业务没执行完问题

    这篇文章主要介绍了Redisson如何解决redis分布式锁过期时间到了业务没执行完问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-01-01
  • 分布式爬虫处理Redis里的数据操作步骤

    分布式爬虫处理Redis里的数据操作步骤

    这篇文章主要介绍了分布式爬虫处理Redis里的数据操作步骤,数据分别存入mongodb和mysql数据库,具体内容详情及实例代码大家参考下本文
    2018-03-03
  • Redis主从实现读写分离

    Redis主从实现读写分离

    这篇文章主要为大家详细介绍了Redis主从实现读写分离的相关资料 ,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2016-10-10
  • 如何利用Redis List实现Java数据库分页快速查询

    如何利用Redis List实现Java数据库分页快速查询

    这篇文章主要给大家介绍了关于如何利用Redis List实现Java数据库分页快速查询的相关资料,Redis是一个高效的内存数据库,它支持包括String、List、Set、SortedSet和Hash等数据类型的存储,需要的朋友可以参考下
    2024-02-02
  • React中immutable的使用

    React中immutable的使用

    这篇文章主要介绍了React中immutable的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-04-04

最新评论