分割超大Redis数据库例子

 更新时间:2015年03月24日 09:22:07   投稿:junjie  
这篇文章主要介绍了分割超大Redis数据库例子,本文讲解了分割的需求、分割的思路及分割实例,需要的朋友可以参考下

薄荷 App 上的伙伴功能大量使用了内存数据库 Redis,随着数据量的快速增长,Redis 膨胀得很快,已经接近 12 GB规模,这些数据全部放在单个 Redis 实例中。单个巨大 Redis 实例有如下几个坏处:

1.首先,需要一台内存很大的机器。Redis 是内存数据库,它需要把所有需求全部放在内存中,需要为之装下 12 GB的 Redis 实例,至少需要 12 GB 内存大小的机器,考虑的预留增长空间,一般需要 12 * 1.5 约 18 GB 内存。 另外还有一个考虑的因素是,Redis 进行硬盘数据存储时,fork 进程需要消耗同样大小的内存,因此一个 12GB 的 redis 实例需要 32 GB左右的内存比较合适,这对机器提出了很高的要求,常常难以满足。

2.然后,Redis 容易成为性能瓶颈。Redis 的并发模型是单进程单线程,它不能充分利用多核 CPU,在请求数很高,或者某一些请求处理比较慢时(比如一些大的数据排序),可能会成为系统的性能瓶颈。有方法可以缓解甚至这个问题,就是建立多个 Redis 实例,通过多个 Redis 连接来实现。

3.另外,单个巨大的 Redis 实例也会增加数据管理难度,因为这么大的数据量,无论是复制,备份操作都比较慢,容易对线上系统造成冲击。

因此,十分有必要把单个巨大的 Redis 实例分割成多个小的 Redis 实例。

使用 Redis 的复制机制,可以在线平滑处理 Redis 实例分割,几乎不会对系统有很大的影响。

分割的具体操作思路如下:

1.首先,规划 Redis 分割策略,通常是基于业务划分,比如薄荷伙伴是基于业务分成 timeline, user_relationship, other 3个 Redis 实例。规划好之后,需要根据规划结果对应用程序中 Redis 程序代码做修改,通常是有一个统一的 Redis 链接修改为多个 Redis 连接,不同业务使用不同的连接。

2.然后,通过 Redis 复制功能建立多个 Redis 副本,让不同 Redis 连接使用不同的 Redis 副本,在 Redis 副本中删除多余的数据。批量删除某个模式的 keys,可以使用下面的 shell 命令:

复制代码 代码如下:

redis-cli KEYS "<pattern>" | xargs redis-cli DEL

改成实际的模式,如

复制代码 代码如下:

redis-cli KEYS "user:*:followers" | xargs redis-cli DEL

表示删除 user followers 数据。

最后通过来回切换并重启 Redis 实例达到完全分割 Redis 实例。

相关文章

  • redis实现分布式session的解决方案

    redis实现分布式session的解决方案

    session存放在服务器,关闭浏览器不会失效,本文主要介绍了redis实现分布式session的解决方案,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-03-03
  • Redis数据结构之intset整数集合使用学习

    Redis数据结构之intset整数集合使用学习

    这篇文章主要为大家介绍了Redis数据结构之整数集合使用学习,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-07-07
  • 安装Redis就那么几步,很简单

    安装Redis就那么几步,很简单

    Redis是一种非关系型数据库(NoSQL),NoSQL是以key-value的形式存储,和传统的关系型数据库不一样,不一定遵循传统数据库的一些基本要求,本文重点给大家介绍安装Redis的步骤,需要的朋友参考下吧
    2018-11-11
  • 通过kubesphere部署redis的方法

    通过kubesphere部署redis的方法

    这篇文章主要介绍了通过kubesphere部署redis的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-11-11
  • redis中redisson实现锁自动延时

    redis中redisson实现锁自动延时

    redisson作为分布式锁能够解决分布式的加锁解锁问题,还能够实现锁的设置存活时间以及自动续期,本文主要介绍了redis中redisson实现锁自动延时,感兴趣的可以了解一下
    2024-02-02
  • 在redis中存储ndarray的示例代码

    在redis中存储ndarray的示例代码

    在Redis中存储NumPy数组(ndarray)通常需要将数组转换为二进制格式,然后将其存储为字符串,这篇文章给大家介绍了在redis中存储ndarray的示例代码,感兴趣的朋友一起看看吧
    2024-02-02
  • Redis String 类型和 Hash 类型学习笔记与总结

    Redis String 类型和 Hash 类型学习笔记与总结

    这篇文章主要介绍了Redis String 类型和 Hash 类型学习笔记与总结,本文分别对String 类型的一些方法和Hash 类型做了详细介绍,需要的朋友可以参考下
    2015-06-06
  • 详解如何使用Redis实现分布式锁

    详解如何使用Redis实现分布式锁

    Redis 作为一个独立的三方系统,其天生的优势就是可以作为一个分布式系统来使用,因此使用 Redis 实现的锁都是分布式锁,所以本文就给大家讲讲如何使用Redis实现分布式锁,感兴趣的小伙伴跟着小编来看看吧
    2023-08-08
  • Redis不同数据类型使用场景代码实例

    Redis不同数据类型使用场景代码实例

    这篇文章主要介绍了Redis不同数据类型使用场景代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-12-12
  • Redis server 主从复制配置实现

    Redis server 主从复制配置实现

    从复制是指将一个Redis服务器的数据复制到其他Redis服务器的过程,本文主要介绍了Redis server 主从复制配置实现,具有一定的参考价值,感兴趣的可以了解一下
    2024-02-02

最新评论