Docker容器实现MySQL多源复制场景分析

更新时间：2022年06月13日 16:40:17 作者：IT邦德

这篇文章主要介绍了Docker容器实现MySQL多源复制，通过本文学习可以掌握多源复制的好处，通过使用场景分析给大家介绍的非常详细,需要的朋友可以参考下

前言

在 MySQL 8.0 版本中，提供了多源复制，多源复制的出现对于分库分表的业务提供了极大的便利,本文做了详细的说明

⛳️ 1.多源复制简介

在 MySQL 8.0 版本中，提供了多源复制，多源复制的出现对于分库分表的业务提供了极大的便利，目前我们已经部署了多套多源复制供统计使用。MySQL 5.7 之前只能实现一主一从、一主多从或者多主多从的复制。如果想实现多主一从的复制，只能使用 MariaDB，但是 MariaDB 又与官方的MySQL 版本不兼容。
MySQL 5.7 开始支持了多主一从的复制方式，也就是多源复制。MySQL 8.0 版本相比之前的版本，无论在功能还是性能、安全等方面都已经有不少的提升。
拓展：MySQL之父Widenius先生离开了Sun之后，觉得依靠Sun/Oracle来发展MySQL，实在很不靠谱，于是决定另开分支，这个分支的名字叫做MariaDB。

📢📢📢 多源复制的好处：

可以集中备份，在从库上备份，不会影响线上的数据正常运行
节约购买从库服务器的成本，只需要一个从库服务器即可
数据汇总在一起，方便后期做数据统计
减轻DBA维护工作量。

⛳️ 2.多源复制使用场景

Backing up multiple servers to a single server.
Merging table shards.
Consolidating data from multiple servers to a single server.

如上图，多源复制采用多通道的模式，和普通的复制相比，就是使用 FOR CHANNEL进行了分离。
CHANGE MASTERTO…FORCHANNEL’m1’;
CHANGE MASTERTO…FORCHANNEL’m2’;
要开启多源复制功能必须需要在从库上设置 master-info-repository 和 relay-log-info-repository 这两个参数。
这两个参数是用来存储同步信息的，可以设置的值为 FILE 和 TABLE，5.7默认值是 FILE。
比如 master-info 就保存在 master.info 文件中,
relay-log-info 保存在 relay-log.info 文件中，
如果服务器意外关闭，正确的 relay-log-info 没有来得及更新到 relay-log.info 文件，这样会造成数据丢失。
为了数据更加安全，通常设为 TABLE。这些表都是 innodb 类型的，支持事务。
相对文件存储安全得多。在 MySQL 库下可以看见这两个表信息，分别是 mysql.slave_master_info 和 mysql.slave_relay_log_info。
这两个参数也是可以动态调整的。
SET GLOBAL master_info_repository=‘TABLE’;
SET GLOBAL relay_log_info_repository=‘TABLE’;

⛳️ 3.多源复制部署

📢📢📢 搭建过程支持GTID复制模式和binlog+position方式复制。

✨ 3.1 下载镜像

docker pull mysql:8.0.27
–docker network create --subnet=172.72.0.0/24 mysql-network
docker rm -f mysql8027M33265 mysql8027M33266 mysql8027M33267 mysql8027M33268

✨ 3.2 创建映射目录

mkdir -p /mysqlmultiple/master1/conf.d
mkdir -p /mysqlmultiple/master1/data
mkdir -p /mysqlmultiple/master2/conf.d
mkdir -p /mysqlmultiple/master2/data
mkdir -p /mysqlmultiple/master3/conf.d
mkdir -p /mysqlmultiple/master3/data
mkdir -p /mysqlmultiple/slave/conf.d
mkdir -p /mysqlmultiple/slave/data

✨ 3.3 创建容器，安装MySQL

docker run -d --name mysql8027M33265 \
-h master1 -p 33265:3306 --net=mysql-network --ip 172.72.0.10 \
-v /mysqlmultiple/master1/conf.d:/etc/mysql/conf.d -v /mysqlmultiple/master1/data:/var/lib/mysql/ \
-e MYSQL_ROOT_PASSWORD=jem \
mysql:8.0.27

docker run -d --name mysql8027M33266 \
-h master2 -p 33266:3306 --net=mysql-network --ip 172.72.0.11 \
-v /mysqlmultiple/master2/conf.d:/etc/mysql/conf.d -v /mysqlmultiple/master2/data:/var/lib/mysql/ \
-e MYSQL_ROOT_PASSWORD=jem \
mysql:8.0.27

docker run -d --name mysql8027M33267 \
-h master3 -p 33267:3306 --net=mysql-network --ip 172.72.0.12 \
-v /mysqlmultiple/master3/conf.d:/etc/mysql/conf.d -v /mysqlmultiple/master3/data:/var/lib/mysql/ \
-e MYSQL_ROOT_PASSWORD=jem \
mysql:8.0.27

docker run -d --name mysql8027S33268 \
-h slave1 -p 33268:3306 --net=mysql-network --ip 172.72.0.13 \
-v /mysqlmultiple/slave/conf.d:/etc/mysql/conf.d -v /mysqlmultiple/slave/data:/var/lib/mysql/ \
-e MYSQL_ROOT_PASSWORD=jem \
mysql:8.0.27

✨ 3.4 参数文件配置

cat > /mysqlmultiple/master1/conf.d/my.cnf << "EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=
server-id = 802733265
log-bin =
binlog_format=row
expire_logs_days = 30
max_binlog_size = 100M
binlog-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema
binlog-ignore-db = sys
replicate_ignore_db=information_schema
replicate_ignore_db=performance_schema
replicate_ignore_db=mysql
replicate_ignore_db=sys
gtid-mode=ON
enforce-gtid-consistency=on
skip_name_resolve
report_host=172.72.0.10
EOF

cat > /mysqlmultiple/master2/conf.d/my.cnf << "EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=
server-id = 802733266
log-bin =
binlog_format=row
expire_logs_days = 30
max_binlog_size = 100M
binlog-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema
binlog-ignore-db = sys
replicate_ignore_db=information_schema
replicate_ignore_db=performance_schema
replicate_ignore_db=mysql
replicate_ignore_db=sys
gtid-mode=ON
enforce-gtid-consistency=ON
skip_name_resolve
report_host=172.72.0.11
EOF

cat > /mysqlmultiple/master3/conf.d/my.cnf << "EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=
server-id = 802733267
log-bin =
binlog_format=row
expire_logs_days = 30
max_binlog_size = 100M
binlog-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema
binlog-ignore-db = sys
replicate_ignore_db=information_schema
replicate_ignore_db=performance_schema
replicate_ignore_db=mysql
replicate_ignore_db=sys
gtid-mode=ON
enforce-gtid-consistency=ON
skip_name_resolve
report_host=172.72.0.12
EOF

cat > /mysqlmultiple/slave/conf.d/my.cnf << "EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=''
server-id = 802733268
log-bin =
binlog_format=row
expire_logs_days = 30
max_binlog_size = 100M
binlog-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema
binlog-ignore-db = sys
replicate_ignore_db=information_schema
replicate_ignore_db=performance_schema
replicate_ignore_db=mysql
replicate_ignore_db=sys
gtid-mode=ON
enforce-gtid-consistency=ON
skip_name_resolve
report_host=172.72.0.13
master-info-repository = table
relay-log-info-repository = table
EOF

docker restart mysql8027M33265
docker restart mysql8027M33266
docker restart mysql8027M33267
docker restart mysql8027S33268
docker ps

📢📢📢 登陆容器，确认数据
docker ps --format “table {{.ID}}\t{{.Names}}\t{{.Status}}\t{{.Ports}}”

✨ 3.5 登陆MySQL

docker exec -it mysql8027M33265 mysql -uroot -pjem
mysql -uroot -pjem -h192.168.1.54 -P33265 -e "select @@hostname,@@server_id,@@server_uuid"
mysql -uroot -pjem -h192.168.1.54 -P33266 -e "select @@hostname,@@server_id,@@server_uuid"
mysql -uroot -pjem -h192.168.1.54 -P33267 -e "select @@hostname,@@server_id,@@server_uuid"
mysql -uroot -pjem -h192.168.1.54 -P33268 -e "select @@hostname,@@server_id,@@server_uuid"

远程登陆需要修改密码
docker exec -it mysql8027M33266 mysql -uroot -pjem
mysql> alter user root@'%' identified with mysql_native_password by 'root';   --更改密码
mysql>  flush privileges;
docker exec -it mysql8027S33268 mysql -uroot -pjem

⛳️ 4.主从配置

✨ 4.1 主库配置

--在 3 台主库
mysql -uroot -proot -h192.168.1.54 -P33265
mysql -uroot -proot -h192.168.1.54 -P33266
mysql -uroot -proot -h192.168.1.54 -P33267
mysql> create user repl@'%' identified with mysql_native_password by 'root';
mysql> grant all on *.* to repl@'%' with grant option;
mysql> flush privileges;
select user,host,grant_priv,password_last_changed,authentication_string from mysql.user;
show master status \G;
show slave hosts;
select @@hostname,@@server_id,@@server_uuid;

✨ 4.2 从库配置

mysql -uroot -proot -h192.168.1.54 -P33268
change master to
master_host='172.72.0.10',
master_port=3306,master_user='repl',
master_password='root',
master_auto_position=1 FOR CHANNEL 'Master1';
show slave status \G;
-- 启动所有 SLAVE
mysql> START SLAVE;
--主库创建数据测试
mysql -uroot -proot -h192.168.1.54 -P33265
mysql> create database test;
--主库2和3
change master to
master_host='172.72.0.11',
master_port=3306,
master_user='repl',
master_password='root',
master_auto_position=1 FOR CHANNEL 'Master2';
change master to
master_host='172.72.0.12',
master_port=3306,
master_user='repl',
master_password='root',
master_auto_position=1 FOR CHANNEL 'Master3';
-- 也可以单独启动需要同步的通道
START SLAVE FOR CHANNEL 'master2';
START SLAVE FOR CHANNEL 'master3';
select a.master_log_pos,a.host,a.user_name,a.user_password,a.port,a.uuid,a.channel_name 
from mysql.slave_master_info a;

⛳️ 5.测试多源复制

-- mysql -uroot -proot -h192.168.1.54 -P33265
create database master1;
use master1;
CREATE TABLE `test1` (`id` int(11) DEFAULT NULL,`count` int(11) DEFAULT NULL);
insert into test1 values(1,1);
-- mysql -uroot -proot -h192.168.1.54 -P33266
create database master2;
use master2;
CREATE TABLE `test2` (`id` int(11) DEFAULT NULL,`count` int(11) DEFAULT NULL);
insert into test2 values(2,2);
-- mysql -uroot -proot -h192.168.1.54 -P33267
create database master3;
use master3;
CREATE TABLE `test3` (`id` int(11) DEFAULT NULL,`count` int(11) DEFAULT NULL);
insert into test3 values(3,3);
--从库查询
-- mysql -uroot -proot -h192.168.1.54 -P33268
show databases;
SELECT * FROM master1.test1;
SELECT * FROM master2.test2;
SELECT * FROM master3.test3;

⛳️ 6. 注意的点

1、初次配置耗时较长，需要将各个 master 的数据 dump 下来，再 source 到 slave 上。
2、需要考虑各 master 数据增长频率，slave 的数据增长频率是这些数据的总和。如果太高，会导致大量的磁盘 IO，造成数据更新延迟，最严重的是会影响正常的查询。
3、如果多个主数据库实例中存在同名的库，则同名库的表都会放到一个库中；
4、如果同名库中的表名相同且结构相同，则数据会合并到一起；如果结构不同，则先建的有效。

到此这篇关于Docker容器实现MySQL多源复制的文章就介绍到这了,更多相关Docker MySQL多源复制内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Docker 镜像构建保姆级入门示例教程
Dockerfile 是一个用来构建镜像的文本文件，文本内容包含了一条条构建镜像所需的指令和说明，这篇文章主要介绍了Docker 镜像构建保姆级入门实战指南,需要的朋友可以参考下
2022-09-09
Docker容器实现SSH远程直连
在某些特殊需求下,我们想ssh直接远程连接docker 容器,本文主要介绍了Docker容器实现SSH远程直连,具有一定的参考价值,感兴趣的可以了解一下
2023-08-08
在Centos7中安装Docker1.12的详细教程
本篇文章主要介绍了在Centos7中安装Docker1.12的详细教程。具有一定的参考价值，有兴趣的可以了解一下。
2017-02-02
用docker运行postgreSQL的方法步骤
这篇文章主要介绍了用docker运行postgreSQL的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-11-11
Docker镜像与容器的导入导出以及常用命令总结
Docker是一个开源的容器引擎,基于go语言开发并遵循了apache2.0协议开源,下面这篇文章主要给大家介绍了关于Docker镜像与容器的导入导出以及常用命令总结的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2022-08-08
Docker启动mysql服务的实现步骤
本文主要介绍了Docker启动mysql服务的实现步骤，文中根据实例编码详细介绍的十分详尽，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2022-03-03
Docker 删除及清理镜像的方法
本文主要介绍了Docker 删除及清理镜像的方法，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2022-03-03
Docker Compose引用环境变量的方法示例
在项目中，往往需要在 docker-compose.yml 文件中使用环境变量来控制不同的条件和使用场景。本文集中介绍 docker compose 引用环境变量的方式，感兴趣的小伙伴们可以参考一下
2018-12-12
详解使用阿里云镜像仓库构建国外Docker镜像
这篇文章主要介绍了详解使用阿里云镜像仓库构建国外Docker镜像，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-11-11
Docker如何安装Oracle 19c
这篇文章主要介绍了Docker如何安装Oracle 19c问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-12-12