Python MySQL如何通过Binlog获取变更记录恢复数据

 更新时间:2025年01月22日 14:50:47   作者:王小工  
本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录,并展示了一个简单的Python脚本,该脚本读取Binlog事件并打印出插入、更新和删除操作的SQL语句,此外,还提到可以使用pandas将结果输出到Excel表格中进行数据分析处理

Python MySQL通过Binlog获取变更记录恢复数据

通过MySQL的二进制日志(Binlog)获取数据库的变更记录,并用于恢复数据,是一个相对高级的操作。

这通常涉及读取Binlog中的事件,解析这些事件以了解数据变更的详细信息,然后基于这些信息来恢复或回滚数据。

在Python中,你可以使用pymysqlreplication库来读取Binlog,但请注意,这个库本身并不提供直接的数据恢复功能。它只能帮助你解析Binlog中的事件。恢复数据需要你根据这些事件编写额外的逻辑。

以下是一个使用pymysqlreplication库通过Binlog获取MySQL操作记录的示例:

1.安装pymysqlreplication

首先,你需要安装这个库。你可以使用pip来安装:

pip install pymysqlreplication

2.配置MySQL

确保你的MySQL服务器启用了Binlog,并且你有一个具有足够权限的MySQL用户来读取Binlog。

3.编写Python脚本

下面是一个简单的Python脚本,它使用pymysqlreplication.BinLogStreamReader来读取Binlog事件,并打印出插入、更新和删除操作的信息。

import json
import sys
from datetime import datetime
from pymysqlreplication import BinLogStreamReader
from pymysqlreplication.row_event import (
    DeleteRowsEvent,
    UpdateRowsEvent,
    WriteRowsEvent,
)
import pandas as pd

MYSQL_SETTINGS = {
    'host': '127.0.0.1',
    'port': 3306,
    'user': 'root',
    'password': '123456'
}
# 要监控的数据库和表 ssc_sjzz2
database_name = 'ssc_wfg'
table_name = 't_sys_user'

def default(o):
    if isinstance(o, datetime):
        return o.isoformat()
    raise TypeError("Unserializable object {}".format(o))
def main():
    stream = BinLogStreamReader(
        connection_settings=MYSQL_SETTINGS,
        server_id=6, # 必须与MySQL服务器上的其他复制客户端不同
        only_events=[DeleteRowsEvent, WriteRowsEvent, UpdateRowsEvent],
        only_tables=[table_name],
        only_schemas=[database_name]
        ) 
    df = pd.DataFrame()
    for binlogevent in stream:
        if binlogevent.table == table_name and binlogevent.schema == database_name:
            time = binlogevent.formatted_timestamp.replace('T', ' ')
            timestamp= binlogevent.timestamp
            for row in binlogevent.rows:
                event = {
                    "schema": binlogevent.schema, 
                    "table": binlogevent.table,
                    "time": time,
                    "timestamp": timestamp,
                    }
            
                if isinstance(binlogevent, DeleteRowsEvent):
                    event["action"] = "delete"
                    event["value"] = json.dumps(list(row["values"].items()), default=default)
                    # event = dict(event.items() + row["values"].items())
                elif isinstance(binlogevent, UpdateRowsEvent):
                    event["action"] = "update"
                    event["value"] = json.dumps(list(row["after_values"].items()), default=default)
                    # event = dict(event.items() + row["after_values"].items())
                elif isinstance(binlogevent, WriteRowsEvent):
                    event["action"] = "insert"
                    event["value"] = json.dumps(list(row["values"].items()), default=default)
                print(json.dumps(event, default=default))
                df = pd.concat([df, pd.DataFrame(event, index=[0])], ignore_index=True)
    stream.close()
    df.to_excel('binlog.xlsx', index=False)
if __name__ == "__main__":
    main()

在这个脚本中:

  • MYSQL_SETTINGS包含了连接到MySQL服务器所需的设置。
  • BinLogStreamReader:包含了读取Binlog所需的设置,包括server_id(必须是一个唯一的标识符,用于区分不同的复制客户端)和only_events(指定我们感兴趣的事件类型)。
  • stream函数根据事件的类型(删除、更新或插入)打印出相应的SQL语句。
  • main:函数设置了Binlog流读取器,并在捕获到任何异常时优雅地关闭流。
  • pandas:将结果输出到excel表格中,用于数据进行分析处理。

4.运行脚本

运行这个Python脚本,它将连接到你的MySQL服务器,并开始读取Binlog中的事件。

每当有新的事件发生时(如插入、更新或删除操作),它都会打印出相应的SQL语句。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python Playwright安装和基本使用问题记录

    Python Playwright安装和基本使用问题记录

    这篇文章主要介绍了Playwright安装和基本使用问题记录,playwright是一款新型的自动化测试工具,功能非常强大,有很多优点,缺点就是使用的人比较少,本文通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-05-05
  • Python 管理依赖包工具pip, virtualenv详解

    Python 管理依赖包工具pip, virtualenv详解

    管理依赖包是Python开发中不可或缺的一部分,通过pip、virtualenv和pipenv等工具,我们可以有效地管理包和虚拟环境,确保项目的可移植性和一致性,这篇文章主要介绍了Python 管理依赖包(pip, virtualenv),需要的朋友可以参考下
    2024-07-07
  • 浅析Python面向对象编程

    浅析Python面向对象编程

    这篇文章主要介绍了Python面向对象编程的相关资料,文中示例代码非常详细,帮助大家更好的理解和学习,感兴趣的朋友可以了解下
    2020-07-07
  • python实现读取excel写入mysql的小工具详解

    python实现读取excel写入mysql的小工具详解

    EXCEL 和 MySQL 大体上来说都可以算是"数据库",MySQL貌似有EXCEL的接口,但是最近在自学Python,用Python实现了一下,下面这篇文章主要给大家介绍了关于利用python实现读取excel写入mysql的一个小工具,需要的朋友可以参考下。
    2017-11-11
  • python使用rpc框架gRPC的方法

    python使用rpc框架gRPC的方法

    这篇文章主要为大家详细介绍了python使用rpc框架gRPC的方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-08-08
  • Python如何实现xml解析并输出到Excel上

    Python如何实现xml解析并输出到Excel上

    本文介绍了如何使用Python的ElementTree模块解析XML文件,并将解析后的数据写入Excel文件,通过编写XML文件、解析XML、编写将数据写入Excel的函数,最终实现XML数据到Excel的转换
    2025-02-02
  • 基于Python实现帕累托图的示例详解

    基于Python实现帕累托图的示例详解

    帕累托图是一种特殊的直方图, 在项目管理知识体系中属于质量管理的工具。本文为大家整理了Python实现帕累托图的方法,需要的可以参考一下
    2023-03-03
  • Python基于回溯法子集树模板解决全排列问题示例

    Python基于回溯法子集树模板解决全排列问题示例

    这篇文章主要介绍了Python基于回溯法子集树模板解决全排列问题,简单描述了全排列问题并结合实例形式分析了Python使用回溯法子集树模板解决全排列问题的具体步骤与相关操作注意事项,需要的朋友可以参考下
    2017-09-09
  • python基础之装饰器详解

    python基础之装饰器详解

    这篇文章主要介绍了python基础之装饰器详解,文中有非常详细的代码示例,对正在学习python的小伙伴们有一定的帮助,需要的朋友可以参考下
    2021-04-04
  • 在PyCharm中遇到pip安装 失败问题及解决方案(pip失效时的解决方案)

    在PyCharm中遇到pip安装 失败问题及解决方案(pip失效时的解决方案)

    这篇文章主要介绍了在PyCharm中遇到pip安装失败问题及解决方案(pip失效时的解决方案),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-03-03

最新评论