Redis KEYS查询大批量数据替代方案

 更新时间:2024年12月31日 10:46:20   作者:小沈同学呀  
在使用 Redis 时,KEYS 命令虽然简单直接,但其全表扫描的特性在处理大规模数据时会导致性能问题,甚至可能阻塞 Redis 服务,本文将介绍SCAN命令、有序集合、哈希表和RediSearch模块四种替代 KEYS 的高效方案,需要的朋友可以参考下

前言

在使用 Redis 时,KEYS 命令虽然简单直接,但其全表扫描的特性在处理大规模数据时会导致性能问题,甚至可能阻塞 Redis 服务。本文将介绍SCAN命令、有序集合、哈希表和RediSearch模块四种替代 KEYS 的高效方案,以应对大批量数据的查询和管理。根据本人实际使用情况,查询Redis大批量数据的情况下推荐使用SCAN命令较好。

KEYS命令问题背景

KEYS 命令会遍历整个键空间,对于包含大量键的 Redis 实例,这可能导致以下问题:
高延迟:执行时间较长,影响其他命令的响应速度。
阻塞 Redis:在单线程模型下,KEYS 会阻塞 Redis 服务器,导致其他操作无法及时处理。
内存消耗:返回所有匹配的键可能会占用大量内存。
因此,在生产环境中应尽量避免使用 KEYS 命令。

替代方案

1.使用 SCAN 命令

理论介绍

SCAN 是一个增量迭代器,可以分批逐步遍历键空间,避免一次性加载所有键。它支持游标(cursor)机制,允许用户通过多次调用来完成完整的遍历。

优点

非阻塞:不会阻塞 Redis 服务器,适合在线环境。
低资源消耗:每次只返回少量键,减少内存压力。

缺点

结果集不固定:SCAN 的结果集不是固定的,可能会有重复或遗漏的键,特别是在键频繁变化的情况下。
额外参数:需要合理设置 COUNT 参数以平衡遍历速度和资源消耗。

示例代码

/**
 * scan命令测试
 * @author senfel
 * @date 2024/12/26 11:34
 * @return void
 */
@Test
public void scan() {
    try (Jedis jedis = new Jedis("localhost", 6379)) {
        String cursor = "0";
        ScanParams scanParams = new ScanParams().match("sys_dict:*").count(100);
        do {
            ScanResult<String> scanResult = jedis.scan(cursor, scanParams);
            for (String key : scanResult.getResult()) {
                System.out.println("Found key: " + key);
            }
            cursor = scanResult.getCursor();
        } while (!cursor.equals("0"));
    }
}

2. 使用有序集合(Sorted Set)

理论介绍

如果需要对键进行排序或范围查询,可以考虑将键存储在有序集合中,并为每个键分配一个唯一的分数(score)。这样可以通过 ZRANGE 或 ZREVRANGE 等命令高效地获取指定范围内的键。

优点

高效查询:支持快速的范围查询和排序。
灵活性:可以根据业务需求调整分数规则。

缺点

额外开销:需要维护有序集合,增加了写入操作的复杂度。

示例代码

/**
 * sortSet
 * @author senfel
 * @date 2024/12/26 11:51
 * @return void
 */
@Test
public void sortSet() {
    try (Jedis jedis = new Jedis("localhost", 6379)) {
        // 添加键到有序集合
        for (int i = 0; i < 100; i++) {
            jedis.zadd("sorted_keys", System.currentTimeMillis(), "senfel"+i);
        }
        // 获取前 10 个键
        Set<String> keys = jedis.zrange("sorted_keys", 0, 9);
        for (String key : keys) {
            System.out.println("Key from sorted set: " + key);
        }
    }
}

3. 使用哈希(Hash)

理论介绍

如果键具有相似的结构或属于同一类目,可以将它们存储在一个哈希表中,每个字段代表一个键。这样可以通过 HGETALL 或 HSCAN 来批量获取相关键。

优点

集中管理:便于批量操作和维护。
高效访问:哈希表提供了 O(1) 的查找性能。

缺点

适用范围有限:适用于键具有相同前缀或分类的情况。

示例代码

/**
 * useHash
 * @author senfel
 * @date 2024/12/26 11:55
 * @return void
 */
@Test
public void useHash() {
    try (Jedis jedis = new Jedis("localhost", 6379)) {
        for (int i = 0; i < 100; i++) {
            // 添加键到哈希表
            jedis.hset("user_data", "name"+i, "senfel"+i);
        }
        // 获取所有键值对
        Map<String, String> userData = jedis.hgetAll("user_data");
        for (Map.Entry<String, String> entry : userData.entrySet()) {
            System.out.println("User data: " + entry.getKey() + " -> " + entry.getValue());
        }
    }
}

4. 使用 Redis 模块(如 RediSearch)

理论介绍

Redis 模块扩展了 Redis 的功能,其中 RediSearch 提供了全文搜索和索引功能,能够高效地管理和查询大量数据。它支持复杂的查询语法和过滤条件。

RediSearch安装推荐使用Docker

docker run --name redisearch -p 16379:6379 -v redis-data:/data redis/redis-stack-server:latest

优点

强大查询能力:支持全文搜索、模糊匹配等高级查询。
高性能:优化的索引结构保证了高效的查询性能。

缺点

依赖外部模块:需要安装和配置 Redis 模块。
学习成本:API 和配置相对复杂,需要一定的时间熟悉。

maven依赖

<dependency>
    <groupId>com.redislabs</groupId>
    <artifactId>jredisearch</artifactId>
    <version>2.0.0</version>
</dependency>

示例代码

/**
 * useRediSearch 未安装RediSearch未测试
 * @author senfel
 * @date 2024/12/26 12:26 
 * @return void
 */
@Test
public void useRediSearch() {
    Client client = Client.create("localhost", 6379).connect();
    // 创建索引并添加文档
    client.ftCreate("idx", Schema.newBuilder()
            .addField(new TextField("title"))
            .addField(new TextField("content"))
            .build());
    client.ftAdd("idx", "doc1", 1.0, Document.newDocument()
            .addField("title", "Redis Search")
            .addField("content", "Learn how to use Redis Search"));
    // 查询文档
    SearchResult result = client.ftSearch("idx", new Query("Redis"));
    for (Document doc : result.documents()) {
        System.out.println("Found document: " + doc.getId());
    }
    client.close();
}

总结

综上所述,Redis 大批量数据解决方案目前有SCAN命令、有序集合、哈希表、RediSearch扩展模块。一般对于Redis 大批量键遍历可以使用非阻塞低资源消耗的SCAN 命令,对于需要排序或范围查询的场景则使用有序集合,对于键具有相同前缀或分类的情况可以使用哈希表,如果需要全文搜索或复杂查询则可以使用高性能强大查询能力的RediSearch。

以上就是Redis KEYS查询大批量数据替代方案的详细内容,更多关于Redis KEYS数据替代方案的资料请关注脚本之家其它相关文章!

相关文章

  • 在ssm项目中使用redis缓存查询数据的方法

    在ssm项目中使用redis缓存查询数据的方法

    本文主要简单的使用Java代码进行redis缓存,即在查询的时候先在service层从redis缓存中获取数据。如果大家对在ssm项目中使用redis缓存查询数据的相关知识感兴趣的朋友跟随脚本之家小编一起看看吧
    2018-03-03
  • k8s部署redis cluster集群的实现

    k8s部署redis cluster集群的实现

    在Kubernetes中部署Redis集群面临挑战,因为每个Redis实例都依赖于一个配置文件,该文件可以跟踪其他集群实例及其角色。需要的朋友们下面随着小编来一起学习学习吧
    2021-06-06
  • Linux下安装Redis 6.0.5的实现

    Linux下安装Redis 6.0.5的实现

    本文详细介绍了在Linux系统下安装Redis 6.0.5的步骤,包括安装准备、编译安装、启动服务、设置密码和配置文件修改等,具有一定的参考价值,感兴趣的可以了解一下
    2025-02-02
  • redis.config配置文件

    redis.config配置文件

    在使用Redis时,我们通常需要对Redis进行一些配置,以确保其能够正常运行并满足我们的需求,本文主要介绍了redis.config配置文件,感兴趣的可以了解一下
    2023-11-11
  • Redis报错“NOAUTH Authentication required”两种解决方案

    Redis报错“NOAUTH Authentication required”两种解决方案

    Redis提供了一个命令行工具redis-cli,它允许你直接连接到Redis服务器,如果你知道Redis服务器的密码,你可以在连接时直接提供它,本文给大家介绍连接了Redis报错“NOAUTH Authentication required”两种解决方案
    2024-05-05
  • 详解Redis Stream做消息队列

    详解Redis Stream做消息队列

    这篇文章主要介绍了详解Redis Stream做消息队列,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-09-09
  • redis锁机制介绍与实例

    redis锁机制介绍与实例

    今天小编就为大家分享一篇关于redis锁机制介绍与实例,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-01-01
  • redis主从复制的原理及实现

    redis主从复制的原理及实现

    Redis主从复制是一种数据同步机制,它通过将一个Redis实例的数据复制到其他Redis,本文主要介绍了redis主从复制的原理及实现,具有一定的参考价值,感兴趣的可以了解一下
    2023-08-08
  • 浅谈redis缓存在项目中的使用

    浅谈redis缓存在项目中的使用

    最近由于项目需要,在系统缓存服务部分上用到了redis,本文就浅谈下在redis缓存在项目中的使用,感兴趣的小伙伴们可以参考一下
    2021-05-05
  • Redis HyperLogLog数据统计轻量级解决方案详解

    Redis HyperLogLog数据统计轻量级解决方案详解

    这篇文章主要为大家介绍了Redis HyperLogLog数据统计轻量级解决方案详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-12-12

最新评论