简述MySQL分片中快速数据迁移

 更新时间:2016年03月21日 17:03:44   投稿:mrr  
这篇文章主要介绍了MySQL分片中快速数据迁移的相关资料,需要的朋友可以参考下

推荐阅读:MySQL 数据库跨操作系统的最快迁移方法

mysql 备份与迁移 数据同步方法

操作实践背景:

travelrecord表定义为10个分片,尝试将10个分片中的2个分片转移到第二台MySQL上,并完成记录, 要求最快的数据迁移做法,中断业务时间最短

思路一利用mysqldump:

在这里我们只针对mysql innodb engine,而且配置bin-log的数据库进行分析。因为是将10个分片中的两个分片进行迁移,其实就是数据库的迁移过程,就是将10个数据库中的两个数据迁移到另外一台机器;中断业务最短的做法就是:

1) 准备mycat新的配置文件备用,以便快速切换配置文件。

2) 在业务地峰期间,如凌晨,使用mysqldump进行数据库的全量备份(附带--flush-logs);

3) 将两个分片数据库的全量备份第二台机器上进行全量恢复;

4) 停止mycat服务器,

5) 停止第一台机器的mycat实例(假设原来的分片在一个mysql实例)

6) 拷贝第一台机器的binlog文件到第二台机器,并使用mysql的mysqlbinlog工具进行这两个数据库的增量数据的恢复。

7) 启动第一台数据实例,校验迁移的两个分片数据正确性(主要看记录数)

8) 替换mycat的配置文件并启动mycat实例

在该方案中,业务中断的时间主要是处理mysqlbinlog的增量数据恢复。

思路二利用mysql的ms机制做级联复制

在这里二个片比如第一个分片db11,第二个分片db21,我在db11上面再做个级联主从,db11-->db16,在db21上面做个级联主从db21->db26,这样到时候数据实时同步,中断业务比较短的做法是:

1)准备mycat新配置文件备用,以便快速切换配置文件。

2)在业务低峰期间,比如凌晨时分,开始操作,停止mycat服务器

3)进行db11-db16主备切换,进行db21-db26主备切换

4)停止第一台机器的mycat实例

5)在主备切换过程中,旧的主db11、db21上面的binlog中如果有新的dml、ddl操作,就用mysqlbinlog解析出来,在新的主db16和db26上面重做一遍

6)使用mk-table-checksum工具检查新主从db16->db11、db26->db21的数据一致性。

7)替换mycat的配置文件并启动mycat实例

好了,关于MySQL分片中快速数据迁移相关知识就给大家介绍到这里,希望对大家有所帮助,更多有关mysql数据迁移知识请登录www.jb51.net 了解更多!

相关文章

  • MySQL批量插入遇上唯一索引避免方法

    MySQL批量插入遇上唯一索引避免方法

    以前使用SQL Server进行表分区的时候就碰到很多关于唯一索引的问题,今天我们来了解MySQL唯一索引的一些知识:包括如何创建,如何批量插入,还有一些技巧上SQL,感兴趣的朋友可以了解下
    2013-01-01
  • Mysql错误Cannot find or open table x/x from the internal问题解决方法

    Mysql错误Cannot find or open table x/x from the internal问题解决方法

    这篇文章主要介绍了Mysql错误Cannot find or open table x/x from the internal问题解决方法,需要的朋友可以参考下
    2014-06-06
  • Mysql常用命令汇总

    Mysql常用命令汇总

    这篇文章主要介绍了Mysql常用命令,都是mysql数据库日常最基本的操作命令,感兴趣的小伙伴们可以参考一下
    2015-11-11
  • MySQL之容灾方案解读

    MySQL之容灾方案解读

    这篇文章主要介绍了MySQL之容灾方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-03-03
  • MySQL show process命令监控诊断数据库性能详解

    MySQL show process命令监控诊断数据库性能详解

    这篇文章主要为大家介绍了MySQL show process命令监控诊断数据库性能详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-10-10
  • MySQL如何实现负载均衡功能

    MySQL如何实现负载均衡功能

    这篇文章主要介绍了MySQL如何实现负载均衡功能,学习过数据库的朋友们都会知道MySQL,那么如何在MySQL下实现负载均衡功能呢?本文就将为大家细致地介绍一下
    2019-06-06
  • 关于k8s环境部署mysql主从的问题

    关于k8s环境部署mysql主从的问题

    这篇文章主要介绍了k8s环境部署mysql主从的问题,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-03-03
  • MySQL into_Mysql中replace与replace into用法案例详解

    MySQL into_Mysql中replace与replace into用法案例详解

    这篇文章主要介绍了MySQL into_Mysql中replace与replace into用法案例详解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下
    2021-09-09
  • MySQL 定时新增分区的实现示例

    MySQL 定时新增分区的实现示例

    本文主要介绍了通过存储过程和定时任务实现MySQL分区的自动创建,解决大数据量下手动维护的繁琐问题,具有一定的参考价值,感兴趣的可以了解一下
    2025-07-07
  • mysql5.7.23版本安装教程及配置方法

    mysql5.7.23版本安装教程及配置方法

    这篇文章主要介绍了mysql5.7.23版本安装教程及配置方法,需要的朋友可以参考下
    2018-11-11

最新评论