脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → SpringBoot数据库恢复

SpringBoot数据库恢复的两种方法mysqldump和mysqlbinlog

 更新时间：2024年01月22日 14:59:50   作者：风流 少年  
binlog用来实现主从复制,也常用来误删数据库找回丢失的记录,本文主要介绍了SpringBoot数据库恢复的两种方法mysqldump和mysqlbinlog,具有一定的参考价值,感兴趣的可以了解一下

一：什么是bin log

MySQL的所有的数据库改变操作（除了select等）都会记录到一种二进制文件中，这种文件就是bin log。
bin log 用来实现主从复制，也常用来误删数据库找回丢失的记录。

一般恢复从两种纬度来进行恢复：

  • 一部分从mysqldump中恢复备份到之前的状态。
  • 另一部分在恢复到备份之前的基础上再从bin log中找出需要恢复的数据。

二：查看bin log配置

  • log_bin ：是否开启bin log，默认值为 ON 表示开启。
  • log_bin_basename ：配置bin log文件所在的目录（/usr/local/mysql/data）以及文件名前缀（mysql-bin）。
  • bin log文件名是从mysql-bin.000001开始的。log_bin_index：配置索引对应的bin log文件的绝对路径，文件中记录所有bin log文件名。 /usr/local/mysql/data/mysql-bin.index 。

三：删除bin log文件

为了测试方便可以先删除之前的bin log文件。

注意：最好是自己本地开发环境来执行以下命令，千万不要在测试环境或者其它共用环境删除bin log。

# 用来查看当前最新的bin log文件及对应的结束位置
show master status;

# 查看所有bin log文件
show binary logs;

# 生成一个新的bin log文件（推荐：自己玩的时候可以先生成一个新的bin log文件，所有新操作都记录在新生成的文件中）
flush binary logs;

# 删除所有binlog日志，新日志编号从头000001开始（建议自己玩的时候可以使用）
reset master;

# 删除mysql-bin.000001之前的所有bin log
purge master logs to 'mysql-bin.000001';

# 删除指定时间之前的数据
purge master logs before '2022-09-01 23:59:59';

四：准备测试数据

执行SQL时不要一下子全部执行，为了后续方便演示基于时间范围的操作，需要一条一条的执行，最好每条命令间隔1秒以上执行。

CREATE DATABASE `db1`;
use db1;
CREATE TABLE `tbl_user` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `username` varchar(255) DEFAULT NULL COMMENT '用户名',
  `status` tinyint(4) DEFAULT NULL COMMENT '状态(0:关闭，1：打开)',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;


insert into tbl_user(username, status) values('monday', 0);
insert into tbl_user(username, status) values('vbirdbest', 1);

update tbl_user set status = 1 where username = 'monday';

delete from tbl_user where username = 'vbirdbest';
drop database db1;

五：查看bin log

  • bin log 需要关注的字段：
  • Log_name：bin log 文件名。
  • Pos：开始位置点。
  • End_log_pos：结束位置点。
  • Event_type：事件类型（Query：DML语句，Write_rows：insert语句，Update_rows：update语句，Delete_rows：delete语句）。

方式一：show binlog events

# 查看当前最新的bin log文件
mysql> show master status;
# 查看bin文件基本信息, Pos表示位置position，如904位置是insert一条数据
mysql> show binlog events in 'mysql-bin.000001';

方式二：mysqlbinlog命令

mysqlbinlog方式和show binlog events方式差不多，其中 at 表示开始位置Pos(position)，end_log_pos表示结束位置点。

  • bin log中创建数据库create database、创建表create table、删除数据库drop database 都是直接记录的SQL语句，
  • 插入insert、更新update、删除delete 都是编码之后的人类不可读的内容存在。所以需要--base64-output=DECODE-ROWS -vv解码。
  • 每个SQL操作都会记录操作时间， #220903 17:08:44。
# 如果报权限问题切换root用户 mysqlbinlog: File '/usr/local/mysql/data/mysql-bin.000001' not found (Errcode: 13 - Permission denied)
~ sudo su

# 解码：将insert/update/delete等解码成SQL语句
mysqlbinlog --no-defaults --skip-gtids --base64-output=DECODE-ROWS -vv /usr/local/mysql/data/mysql-bin.000001

六：恢复数据mysqlbinlog

6.1 mysqlbinlog命令常用参数

  • --no-defaults：如果不报错可以不使用该参数。 mysqlbinlog: [ERROR] unknown variable 'default-character-set=utf8'。
  • --skip-gtids=true：gtid是一种全局唯一id。设置为true表示导出的sql中不包含gtid相关的设置。
  • --base64-output=DECODE-ROWS -vv：bin log内容经过编码了，需要解码之后人类才可读。
  • --start-position=801：恢复的开始位置。注意：开始位置一般取BEGIN的位置，取靠下的位置可能导不出来想要的log。
  • --stop-position=1590：恢复的结束位置。注意：是不包含停止位置的。
  • --start-datetime="2022-01-01 00:00:00" ：指定开始时间之后的bin log。如果不指定表示从头开始。
  • --stop-datetime="2022-09-01 23:59:59"：指定结束时间之前的bin log。如果不指定表示一直到结尾。--database=db1：bin log 文件会记录所有数据库的变更，所以一般我们需要指定数据库对应的bin log。

6.2 查看最新的bin log文件

# 删除所有bin log文件，从mysql-bin.000001开始
mysql> reset master;
mysql> show master status;

6.3 模拟数据库误删操作

mysql> CREATE DATABASE `db1`;
mysql> use db1;
mysql> CREATE TABLE `tbl_user` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `username` varchar(255) DEFAULT NULL COMMENT '用户名',
  `status` tinyint(4) DEFAULT NULL COMMENT '状态(0:关闭，1：打开)',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

mysql> insert into tbl_user(username, status) values('monday', 0);
mysql> insert into tbl_user(username, status) values('vbirdbest', 1);

# mysql备份 https://blog.csdn.net/zhou920786312/article/details/123354503
# 单事务导出包括存储过程、触发器、事件
~ mysqldump -uroot -p --single-transaction --triggers --routines --events --databases db1 > db1-20220904.dump
mysql> insert into tbl_user(username, status) values('modely', 1);



# 模拟误操作，清空了表
mysql> delete from tbl_user;

6.4 从备份中恢复

~ mysql -uroot -p  < alldb1.dump

七：从bin log中恢复

总共有3条数据，已经有2条从备份中恢复了，剩下1条我们从bin log中找出来恢复。

7.1 方式一：基于时间范围

7.1.1 先查看一下所有的内容，确认时间范围

~ sudo su
~ /usr/local/mysql/bin/mysqlbinlog --no-defaults \
--base64-output=DECODE-ROWS -vv --skip-gtids=true \
--database=db1 /usr/local/mysql/data/mysql-bin.000001

7.1.2 根据时间范围确认过滤出来的日志

/usr/local/mysql/bin/mysqlbinlog \
--no-defaults \
--start-datetime="2022-09-04 18:12:17" \
--stop-datetime="2022-09-04 18:12:52" \
--base64-output=DECODE-ROWS -vv \
--skip-gtids=true \
--database=db1 /usr/local/mysql/data/mysql-bin.000001

7.1.3 确认好后导出.sql文件

# 导出sql文件
/usr/local/mysql/bin/mysqlbinlog \
--no-defaults \
--start-datetime="2022-09-04 18:12:17" \
--stop-datetime="2022-09-04 18:12:52" \
--base64-output=DECODE-ROWS -vv \
--skip-gtids=true \
--database=db1 /usr/local/mysql/data/mysql-bin.000001 \
> /Users/mengday/binlog.sql

7.1.4 从.sql文件中恢复数据

# 2. 方式一：然后登录mysql source这个文件
~ mysql -uroot -p	
mysql> source /Users/mengday/binlog.sql;

# 2. 方式二
mysql -uroot -p < /Users/mengday/binlog.sql;

通过 source binlog.sql 或者 mysql -uroot -p < binlog.sql 都没有将insert语句插入进去，不知道什么原因。通过另一种形式也没有执行成功！！！

/usr/local/mysql/bin/mysqlbinlog \
--no-defaults \
--start-datetime="2022-09-04 18:12:17" \
--stop-datetime="2022-09-04 18:12:52" \
--base64-output=DECODE-ROWS -vv \
--skip-gtids=true \
--database=db1 /usr/local/mysql/data/mysql-bin.000001 \
| mysql -uroot -p

7.2 方式二：基于位置(推荐)

因为在同一秒中可能操作多条SQL，如果在这一秒中有一部分需要恢复有一部分不需要恢复那么使用居于时间范围的就不准确，使用基于位置的就更加准确。

7.2.1 基于位置过滤日志

/usr/local/mysql/bin/mysqlbinlog \
--no-defaults \
--start-position=841 \
--stop-position=948 \
--base64-output=DECODE-ROWS -vv \
--skip-gtids=true \
--database=db1 /usr/local/mysql/data/mysql-bin.000001 \
> /Users/mengday/binlog2.sql

7.2.2 恢复数据

source binlog2.sql;

同样不出意外的insert语句并没有执行。

7.3 多文件恢复

# 跨bin log文件
mysqlbinlog --skip-gtids=true \
--start-position=802 mysql-bin.000001 \
--stop-position=726 mysql-bin.000002 \
|mysql -uroot -proot

# 从mysql-bin.000001 802位置开始到mysql-bin.000002结束
mysqlbinlog --skip-gtids=true \
--start-position=802 mysql-bin.000001  mysql-bin.000002 \
|mysql -uroot -proot

注意：如果有多个mysql-bin文件，文件中的位置position不是唯一的，是重复利用的。所以当操作多个文件时要小心。例如 at 4 可能在多个bin log中出现。需要操作多个文件时最好分开一个一个单独操作。

八：binlog2sql 工具

既然通过source不能直接执行bin log sql语句，那么我们就把bin log sql语句转化成正常的sql语句自己手动执行。

Python工具 binlog2sql：https://github.com/danfengcao/binlog2sql

git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql

# 注意：如果本地python环境冲突的话，最好为当前项目创建一个虚拟环境，否则很容易报ModuleNotFoundError: No module named 'pymysqlreplication'
python3 -m venv env
source env/bin/activate
pip3 install -r requirements.txt

# 查询所有sql语句，从而找到想要恢复是sql语句
python3 binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uroot -p'root123' -ddb1 -ttbl_user --start-file='mysql-bin.000001'

# 通过起始位置进一步确认是否是想要的sql
python3 binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uroot -p'root123' -ddb1 -ttbl_user --start-file='mysql-bin.000001' --start-position=705 --stop-position=948

# -B参数生成对应的回滚sql，如insert回滚sql为delete
python3 binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uroot -p'root123' -ddb1 -ttbl_user --start-file='mysql-bin.000001' --start-position=705 --stop-position=948 > insert.sql | cat

# 拿到这个SQL我直接执行，我就不信恢复不过来
INSERT INTO `db1`.`tbl_user`(`id`, `username`, `status`) VALUES (6, 'modely', 1); #start 705 end 948 time 2022-09-04 18:12:17

🌹🌹🌹🌹🌹🌹🌹🌹🌹至此葵花宝典已经连成。🌹🌹🌹🌹🌹🌹🌹🌹🌹

到此这篇关于SpringBoot数据库恢复的两种方法mysqldump和mysqlbinlog的文章就介绍到这了,更多相关SpringBoot数据库恢复内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！ 

您可能感兴趣的文章:

相关文章

  • java后台调用接口及处理跨域问题的解决

    java后台调用接口及处理跨域问题的解决

    这篇文章主要介绍了java后台调用接口,处理跨域的问题及解决，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2022-03-03
  • java单例模式使用详解

    java单例模式使用详解

    这篇文章主要介绍了java单例模式使用方法，通常它的实现方式分为懒汉式实现和饿汉式，下面是详细说明加示例,需要的朋友可以参考下
    2014-04-04
  • SpringBoot入门原理及优势分析

    SpringBoot入门原理及优势分析

    本篇文章主要来为大家介绍SpringBoot入门原理及优势分析，有需要的朋友可以借鉴参考下，希望可以有所帮助，祝大家多多进步，早日升职加薪
    2021-09-09
  • mybatis中<if>标签bool值类型为false判断方法

    mybatis中<if>标签bool值类型为false判断方法

    这篇文章主要给大家介绍了关于mybatis中<if>标签bool值类型为false判断方法，文中通过示例代码介绍的非常详细，对大家学习或者使用mybatis具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
    2019-08-08
  • JAVA实现图书管理系统项目

    JAVA实现图书管理系统项目

    相信每一个学生学编程的时候，应该都会写一个小项目——图书管理系统。为什么这么说呢？我认为一个学校的氛围很大一部分可以从图书馆的氛围看出来，而图书管理系统这个不大不小的项目，接触的多，也比较熟悉，不会有陌生感，能够练手，又有些难度，所以我的小项目也来了
    2021-10-10
  • Java判断字符串是不是数字过程解析

    Java判断字符串是不是数字过程解析

    这篇文章主要介绍了Java判断字符串是不是数字过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-09-09
  • JDBC用IDEA连接SQLServer数据库的超实用教程

    JDBC用IDEA连接SQLServer数据库的超实用教程

    JDBC是Java连接数据库的一种接口,它由各个数据库厂商为开发者提供的接口,要使用它需要到相应厂商下载对应的jar包,下面这篇文章主要给大家介绍了关于JDBC用IDEA连接SQLServer数据库的超实用教程,需要的朋友可以参考下
    2023-05-05
  • Java Collections集合继承结构图_动力节点Java学院整理

    Java Collections集合继承结构图_动力节点Java学院整理

    这篇文章主要介绍了Java Collections集合继承结构图_动力节点Java学院整理,需要的朋友可以参考下
    2017-04-04
  • Java Http请求方式之RestTemplate常用方法详解

    Java Http请求方式之RestTemplate常用方法详解

    这篇文章主要为大家介绍了Java Http请求方式之RestTemplate常用方法详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-09-09
  • 校验非空的注解@NotNull如何取得自定义的message

    校验非空的注解@NotNull如何取得自定义的message

    这篇文章主要介绍了校验非空的注解@NotNull如何取得自定义的message，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2021-09-09

最新评论

关注微信公众号

扫一扫