脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → Redis → MySQL迁移到Redis

从MySQL到Redis的简单数据库迁移方法

 更新时间：2015年06月30日 09:07:10   投稿：goldensun  
这篇文章主要介绍了从MySQL到Redis的简单数据库迁移方法,注意Redis数据库基于内存,并不能代替传统数据库,需要的朋友可以参考下

 从mysql搬一个大表到redis中，你会发现在提取、转换或是载入一行数据时，速度慢的让你难以忍受。这里我就要告诉一个让你解脱的小技巧。使用“管道输出”的方式把mysql命令行产生的内容直接传递给redis-cli，以绕过“中间件”的方式使两者在进行数据操作时达到最佳速度。

一个约八百万行数据的mysql表，原本导入到redis中需要90分钟，使用这个方法后，只需要两分钟。不管你信不信，反正我是信了。

Mysql到Redis的数据协议

redis-cli命令行工具有一个批量插入模式，是专门为批量执行命令设计的。这第一步就是把Mysql查询的内容格式化成redis-cli可用的数据格式。here we go!


我的统计表：
 

CREATE TABLE events_all_time (
 id int(11) unsigned NOT NULL AUTO_INCREMENT,
 action varchar(255) NOT NULL,
 count int(11) NOT NULL DEFAULT 0,
 PRIMARY KEY (id),
 UNIQUE KEY uniq_action (action)
);

准备在每行数据中执行的redis命令如下：
 
HSET events_all_time [action] [count]
按照以上redis命令规则，创建一个events_to_redis.sql文件，内容是用来生成redis数据协议格式的SQL：
 
-- events_to_redis.sql
 

SELECT CONCAT(
 "*4\r\n",
 '$', LENGTH(redis_cmd), '\r\n',
 redis_cmd, '\r\n',
 '$', LENGTH(redis_key), '\r\n',
 redis_key, '\r\n',
 '$', LENGTH(hkey), '\r\n',
 hkey, '\r\n',
 '$', LENGTH(hval), '\r\n',
 hval, '\r'
)
FROM (
 SELECT
 'HSET' as redis_cmd,
 'events_all_time' AS redis_key,
 action AS hkey,
 count AS hval
 FROM events_all_time
) AS t

ok, 用下面的命令执行：
 

mysql stats_db --skip-column-names --raw < events_to_redis.sql | redis-cli --pipe

很重要的mysql参数说明：

  • --raw: 使mysql不转换字段值中的换行符。
  • --skip-column-names: 使mysql输出的每行中不包含列名。
您可能感兴趣的文章:

相关文章

  • Redis Cluster 字段模糊匹配及删除

    Redis Cluster 字段模糊匹配及删除

    在数据库内我们可以通过like关键字、％、*或者REGEX关键字进行模糊匹配。而在Redis内我们如何进行模糊匹配呢？本文就来介绍一下
    2021-05-05
  • redis反序列化报错原因分析以及解决方案

    redis反序列化报错原因分析以及解决方案

    这篇文章主要介绍了redis反序列化报错原因分析以及解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2023-03-03
  • Redis类型type与编码encoding原理及使用示例

    Redis类型type与编码encoding原理及使用示例

    这篇文章主要为大家介绍了Redis类型type与编码encoding原理及使用示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-03-03
  • redis 存储对象的方法对比分析

    redis 存储对象的方法对比分析

    这篇文章主要介绍了redis 存储对象的方法对比分析，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2021-07-07
  • 解析高可用Redis服务架构分析与搭建方案

    解析高可用Redis服务架构分析与搭建方案

    我们按照由简至繁的步骤，搭建一个最小型的高可用的Redis服务。 本文通过四种方案给大家介绍包含每种方案的优缺点及详细解说，具体内容详情跟随小编一起看看吧
    2021-06-06
  • redis键空间通知使用实现

    redis键空间通知使用实现

    这篇文章主要介绍了redis键空间通知使用实现
    2021-08-08
  • 了解redis中RDB结构_动力节点Java学院整理

    了解redis中RDB结构_动力节点Java学院整理

    这篇文章主要为大家详细介绍了redis中RDB结构，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2017-08-08
  • 5分钟搭建redis集群(redis5.0.5)

    5分钟搭建redis集群(redis5.0.5)

    本文主要介绍了5分钟搭建redis集群，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-08-08
  • 浅谈redis整数集为什么不能降级

    浅谈redis整数集为什么不能降级

    本文主要介绍了redis整数集为什么不能降级，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-07-07
  • Redis常见限流算法原理及实现

    Redis常见限流算法原理及实现

    这篇文章主要介绍了Redis常见限流算法原理及实现，限流简称流量限速(Rate Limit)是指只允许指定的事件进入系统，超过的部分将被拒绝服务、排队或等待、降级等处理
    2022-08-08

最新评论