脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → Mysql → Mysql Binlog大文件解析

解决Mysql Binlog文件太大导致无法解析问题

 更新时间：2023年11月22日 08:30:29   作者：爱可生开源社区  
这篇文章主要为大家介绍了解决Mysql Binlog文件太大导致无法解析问题，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

正文

由于业务写入了一条大事务，导致 MySQL 的 binlog 膨胀。在解析大的 binlog 时，经常会遇到这个问题，导致无法解析，没有其他工具的情况下，很难分析问题。

故障现象

由于业务写入了一条大事务，导致 MySQL 的 binlog 膨胀。在解析大的 binlog 时，经常会遇到这个问题，导致无法解析，没有其他工具的情况下，很难分析问题。

故障复现

[root@xuzong mysql]# ls -lh mysql-bin.003300
-rw-r----- 1 my3696 mysql 6.7G Oct 30 16:24 mysql-bin.003300
[root@xuzong mysql]# /usr/local/mysql-5.7.35/bin/mysqlbinlog -vv mysql-bin.003300 > 1.sql
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.334z3P' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)
mysqlbinlog: Error writing file '/tmp/tmp.0Uirch' (Errcode: 28 - No space left on device)

猜测

  • 可能是配置文件中 tmpdir 的问题，但是修改这个得重启 MySQL。
  • 能不能在不重启 MySQL 的情况下，修改这个临时空间。

验证猜测

猜测一

看一下 my.cnf 设置的 tmpdir，发现并不是使用的这个参数，看来猜测一不对。

[root@mysql mysql]# cat my.cnf | grep tmpdir
tmpdir                          = /data1/dbatemp

猜测二

网上搜了一下，大部分是讲临时表满怎么解决的，也就是猜测一的方案，并没有很明确的方法来修改 mybinlog 解析时，所使用的的临时句柄占用空间。

问题分析

只能看看源码，看一下 mysqlbinlog 到底是怎么获取 tmpdir 的。

mysqbinlog.cc
int main(int argc, char** argv)
{
........
  MY_TMPDIR tmpdir;
  tmpdir.list= 0;
  if (!dirname_for_local_load)
  {
    if (init_tmpdir(&tmpdir, 0))
      exit(1);
    dirname_for_local_load= my_strdup(PSI_NOT_INSTRUMENTED,
                                      my_tmpdir(&tmpdir), MY_WME);
  }
........
}
mf_tempdir.cc
my_bool init_tmpdir(MY_TMPDIR *tmpdir, const char *pathlist)
{
  char *end, *copy;
  char buff[FN_REFLEN];
  DBUG_ENTER("init_tmpdir");
  DBUG_PRINT("enter", ("pathlist: %s", pathlist ? pathlist : "NULL"));
  Prealloced_array<char*, 10, true> full_list(key_memory_MY_TMPDIR_full_list);
  memset(tmpdir, 0, sizeof(*tmpdir));
  if (!pathlist || !pathlist[0])
  {
    /* Get default temporary directory */
    pathlist=getenv("TMPDIR");    /* Use this if possible */ //这里能看到是获取的机器环境变量
#if defined(_WIN32)
    if (!pathlist)
      pathlist=getenv("TEMP"); //windows是temp
    if (!pathlist)
      pathlist=getenv("TMP");  //linux是tmp
#endif
    if (!pathlist || !pathlist[0])
      pathlist= DEFAULT_TMPDIR;
  }
........
}

好家伙，竟然是获取的机器环境变量，那么这个问题就解决了。

问题处理

临时修改一下机器的 tmpdir 变量即可。

[root@mysql mysql]# export TMPDIR="/data1"
[root@mysql mysql]# echo ${TMPDIR:-/tmp}
[root@xuzong mysql]# /usr/local/mysql-5.7.35/bin/mysqlbinlog -vv mysql-bin.003300 &gt; 1.sql

总结

  • 有问题还是要看看源码。
  • 可以考虑使用 binlog 解析工具，比如 bin2sql 解决问题。
  • 可以看看慢日志里是否有记录。

补充

原来这个问题在 MySQL 官方手册 中有所描述，在此做一个补充。

When running mysqlbinlog against a large binary log, be careful that the filesystem has enough space for the resulting files. To configure the directory that mysqlbinlog uses for temporary files, use the TMPDIR environment variable.

以上就是解决Mysql Binlog文件太大导致无法解析问题的详细内容，更多关于Mysql Binlog大文件解析的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • mysql的中文数据按拼音排序的2个方法

    mysql的中文数据按拼音排序的2个方法

    这篇文章主要介绍了mysql的中文数据按拼音排序的2个方法,用于一些特殊环境,需要的朋友可以参考下
    2014-06-06
  • MySql实现翻页查询功能

    MySql实现翻页查询功能

    分页查询在网页中随处可见，那原理是什么呢？下面简单介绍一下基于MySql数据库的limit实现方法，感兴趣的朋友一起看看吧
    2019-11-11
  • MySQL count(*)统计总数问题汇总

    MySQL count(*)统计总数问题汇总

    在日常开发工作中，我经常会遇到需要统计总数的场景，比如：统计订单总数、统计用户总数等，这篇文章主要介绍了MySQL count(*)统计总数的问题解析,需要的朋友可以参考下
    2022-09-09
  • 如何安全地关闭MySQL

    如何安全地关闭MySQL

    这篇文章主要介绍了如何安全地关闭MySQL，帮助大家更好的理解和使用MySQL，感兴趣的朋友可以了解下
    2020-12-12
  • 有关mysql优化的一些东东整理

    有关mysql优化的一些东东整理

    有关mysql优化的一些东东，自己整理的，网上搜集的，供朋友们学习参考吧
    2013-02-02
  • 解决ERROR 1129 (HY000): Host ‘xxx‘ is blocked because of many问题

    解决ERROR 1129 (HY000): Host ‘xxx‘ is blocked because 

    这篇文章主要介绍了解决ERROR 1129 (HY000): Host ‘xxx‘ is blocked because of many问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-04-04
  • MySQL千万不要这样写update语句

    MySQL千万不要这样写update语句

    MySQL中update语句用于更新表中的现有数据,亦可用UPDATE语句来更改表中单个行,一组行或所有行的列值,这篇文章主要给大家介绍了关于MySQL千万不要这样写update语句的相关资料,需要的朋友可以参考下
    2021-11-11
  • MySQL实现批量检查表并进行repair与optimize的方法

    MySQL实现批量检查表并进行repair与optimize的方法

    这篇文章主要介绍了MySQL实现批量检查表并进行repair与optimize的方法,结合实例形式分析了MySQL批量修复与优化表的相关技巧,需要的朋友可以参考下
    2016-04-04
  • 老生常谈MYSQL模式匹配 REGEXP和like的用法

    老生常谈MYSQL模式匹配 REGEXP和like的用法

    下面小编就为大家带来一篇老生常谈MYSQL模式匹配 REGEXP和like的用法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-03-03
  • mysql远程登录root账户报错1045的解决

    mysql远程登录root账户报错1045的解决

    这篇文章主要介绍了mysql远程登录root账户报错1045的解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2023-04-04

最新评论