Redis中HyperLogLog的使用小结

 更新时间:2025年05月09日 11:22:47   作者:BirdMan98  
Redis 的 HyperLogLog 是一种概率性数据结构,用于统计唯一元素的数量(基数),本文主要介绍了Redis中HyperLogLog的使用小结,感兴趣的可以了解一下

Redis 的 HyperLogLog 是一种概率性数据结构,用于统计唯一元素的数量(基数),比如你想知道一个网站有多少独立访问用户(UV)。它的主要优点是:内存占用极小,无论你添加多少数据,它通常只占用 12KB 的内存。

下面是 HyperLogLog 的详细讲解:

🧠 一、HyperLogLog 是什么?

HyperLogLog 是一种基数估计算法,它可以用来估算一个集合中不同元素的数量(Cardinality)。和 Set 不同,Set 会存储所有元素,而 HyperLogLog 并不会保存具体的数据,只保存一种统计状态。

✅ 优点:可以统计大规模唯一元素数量,内存使用极低
❌ 缺点:不是精确统计,有误差范围 ±0.81%

🛠️ 二、使用方法

1. 添加数据

PFADD key element [element ...]
PFADD myloglog user1 user2 user3

2. 查询基数

PFCOUNT key [key ...]
PFCOUNT myloglog

3. 合并多个 HyperLogLog

PFMERGE destkey sourcekey1 [sourcekey2 ...]
PFMERGE totalLog userLog1 userLog2

📊 三、实际示例

# 添加一些用户ID
PFADD uv:20250414 user1 user2 user3 user4 user5

# 查询今天的 UV
PFCOUNT uv:20250414
# 返回 5

# 添加重复的用户 ID(不会重复计数)
PFADD uv:20250414 user1 user2

# 再查一次
PFCOUNT uv:20250414
# 仍然是 5

🧮 四、原理简要(非必须了解)

HyperLogLog 基于概率算法,核心思想是:
哈希每个元素,观察哈希值的前缀中连续0的最大长度,利用这个统计信息估算基数。

  • 哈希函数让输入随机分布
  • 长连续 0 出现的概率很低,说明数据多
  • Redis 将结果分散到 2^14(16,384)个桶中,提高精度

💡 五、适用场景

  • 网站 UV 统计(每天、每小时用户访问数)
  • 活跃用户数统计
  • 数据去重统计但不需要精确结果的场合

⚠️ 六、注意事项

  • 无法获取添加了哪些元素(它不存数据)
  • 是估算值(不是精确值),精度误差为 ±0.81%
  • 永远只占用约 12KB 的内存(精确控制内存使用)

🧪 七、与 Set 对比

项目SetHyperLogLog
精度精确估算(±0.81%)
内存随数据增大恒定约 12KB
支持去重计数✅(基于概率)
支持元素查看❌(不存数据)
使用场景数据可控小集合超大规模数据统计

如果你有具体的使用场景或代码需求,也可以告诉我,我可以帮你写具体的 Redis 命令或 Python/Lua 示例。需要吗?

到此这篇关于Redis中HyperLogLog的使用小结的文章就介绍到这了,更多相关Redis HyperLogLog使用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Redis实现分布式锁全过程

    Redis实现分布式锁全过程

    文章介绍Redis实现分布式锁的方法,包括使用SETNX和EXPIRE命令确保互斥性与防死锁,Redisson客户端提供的便捷接口,以及Redlock算法通过多节点共识提高容错性,同时强调需合理设置锁过期时间、唯一标识,并注意网络分区问题
    2025-08-08
  • Redis缓存使用的BigKey问题解决

    Redis缓存使用的BigKey问题解决

    BigKey在Redis中存储的单个Key对应的Value过大,本文主要介绍了Redis缓存使用的BigKey问题解决,具有一定的参考价值,感兴趣的可以了解一下
    2025-05-05
  • 使用Redis实现数据库对象自增ID的方法

    使用Redis实现数据库对象自增ID的方法

    在分布式项目中,数据表的主键ID一般可能存在于UUID或自增ID这两种形式,UUID好理解而且实现起来也最容易,但是缺点就是数据表中的主键ID是32位的字符串,我们通常会优先考虑使用自增ID来代替UUID使用,所以本文介绍了使用Redis实现生成对象自增ID的方法
    2024-11-11
  • Redis基本数据类型示例详解

    Redis基本数据类型示例详解

    本文给大家介绍了Redis基本数据类型示例详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2025-09-09
  • Redis缓存IO模型的演进教程示例精讲

    Redis缓存IO模型的演进教程示例精讲

    这篇文章主要为大家介绍了Redis线程IO模型演进的教程示例精讲,有需要朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步早日升职加薪
    2021-11-11
  • Redis exists命令bug分析(案例详解)

    Redis exists命令bug分析(案例详解)

    Redis EXISTS 命令用于检查给定 key 是否存在,本文重点给大家介绍Redis exists命令bug分析,感兴趣的朋友跟随小编一起看看吧
    2022-02-02
  • Redis中对大Key进行处理方式

    Redis中对大Key进行处理方式

    这篇文章主要介绍了Redis中对大Key进行处理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2025-06-06
  • Redis中的分布式锁之SETNX底层实现方式

    Redis中的分布式锁之SETNX底层实现方式

    这篇文章主要介绍了Redis中的分布式锁之SETNX底层实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2025-06-06
  • Redis中的String类型及使用Redis解决订单秒杀超卖问题

    Redis中的String类型及使用Redis解决订单秒杀超卖问题

    这篇文章主要介绍了Redis中的String类型及使用Redis解决订单秒杀超卖问题,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-11-11
  • Redis实现布隆过滤器的方法及原理

    Redis实现布隆过滤器的方法及原理

    布隆过滤器优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率和删除困难。本文将介绍布隆过滤器的原理以及Redis如何实现布隆过滤器,感兴趣的朋友跟随小编一起看看吧
    2019-12-12

最新评论