干掉一堆mysql数据库,仅需这样一个shell脚本(推荐)

 更新时间:2019年04月04日 10:12:48   作者:sery  
这篇文章主要介绍了干掉一堆mysql数据库,仅需这样一个shell脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

一大早就被电话吵醒了,云某项目数据库全挂了,启动不了(睡得太死,没听到报警短信),吓得不轻啊!

电话中说所有mysql数据库主库都启动不了,但从库正常,怀疑是主库去连其它阿里云的主库了。这些数据库,以前是从阿里云迁移到idc机房的,因此他有这个判断。

赶紧打开电脑,连***,登录其中一个数据库服务器,试着执行如下命令启动mysql服务

[root@bbsmysql121 backup]#mysqld_safe –user=mysql &

启动失败,又换一台数据库服务器尝试,还是失败。考虑到所有的数据库都不能启动,因此可以初步判定,可能是数据库宿主机的问题导致的。

数据库的底层设计是两台物理节点虚拟化,外加一台物理机做备份。其中一台物理机的虚拟机全部做mysql主库,另一台物理机的虚拟机做mysql从库。

先放弃在虚拟机进行故障排查,赶紧登录宿主机系统。接下来,从两个方面排查问题所在。

ü 虚拟化后台管理系统

发现存储被塞满了,问题很严重。

ü ssh登录宿主系统debian

[6885005.756183] Buffer I/O error on dev dm-16, logical block 34667776, lost async page write
[6885005.757292] Buffer I/O error on dev dm-16, logical block 34667792, lost async page write
[6885005.758210] Buffer I/O error on dev dm-16, logical block 34667808, lost async page write
[6885005.759079] Buffer I/O error on dev dm-16, logical block 34667824, lost async page write
[6885005.759922] Buffer I/O error on dev dm-16, logical block 34667840, lost async page write
[6885005.760723] Buffer I/O error on dev dm-16, logical block 34667856, lost async page write

系统日志/var/log/messages发现大量的磁盘io错误。

综合上述发现,基本可以断定是磁盘出了问题:一个问题是proxmox划定的存储空间被塞满,另一个是磁盘io错误。知道问题所在以后,接下来的处理方案有两个:修复错误或者把从库提升为主库。考虑到待机问题,还是尽量争取修复主库吧,实在不能修复,再用第二套方案(提升从库)。

释放磁盘空间

为什么磁盘空间会塞满呢?应该有人在虚拟机上干了啥,而且可能是每个虚拟机都进行相同的操作,才会导致宿主机磁盘空间迅速填满。随便登录某个运行mysql数据库的虚拟机,执行命令

df-h

再登其它服务器,分区/dev/sdb1也是使用了90%以上。进入目录/data,运行如下指令查看目录空间占用情况:

[root@cumysql121 data]# du -hs *
4.0K backup
59G db_pkg
59G mysql_db
[root@cumysql121 data]# cd backup
[root@cumysql121 backup]# du -hs *

好家伙,好几个50多G的目录(写这个文章时,我已经删掉了,没有留存记录),这些文件,从目录名称上看,应该是备份数据库自动生成的。不管它,先删除。

肯定有人在系统做了自动任务,用指令crontab –l 查看,果然有发现:

#!/bin/bash
/usr/local/xtrabackup/bin/innobackupex --defaults-file=/etc/my.cnf --user=root --passwor='+N4dohask+MsLhG' /data/backup/
find /data/backup/* -mtime +1 -exec rm -fr {} \;
~

初一看这个脚本没什么问题,再仔细看,最后一行是符号“~”,有问题啊!写脚本的人的意图是每天进行一次备份数据库备份,然后删除前一天的历史备份数据,这样就不会把磁盘塞满了。

但是这有两个致命的问题,这里分别描述之。

备份策略错误

有专门的备份系统,应该把数据备份到该系统上,而不是本地备份。

手段错误

备份脚本写好以后,应该手动执行,以验证其正确性。而不是写完,直接扔在上边不管。

修复磁盘错误

紧急联系机房,请技术人员把KVM over 连接到宿主机,万一系统引导不了,可远程查看或者进入单用户模式进行 fsck一类的修复操作。

Ssh连宿主机系统debian,确认被塞满的磁盘空间被释放,然后执行reboot重启系统。几分钟以后,系统正常引导。

后续操作

查看系统日志,没有磁盘io报错,创建目录及文件,正常;启动各虚拟机、启动其上的数据库,都正常了。

通知各路人马,从业务层面检查是否正常。片刻,短信来一堆恢复信息,心里踏实多了。不用说,是项目方的sa干的这个好事,并且没有通知任何人。

私下给他说,这事自己跟其它人解释,以后干有风险的事情,最好相互通知一下。

以上所述是小编给大家介绍的干掉一堆mysql数据库,仅需这样一个shell脚本详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

相关文章

  • 如何查看MySQL连接的root密码

    如何查看MySQL连接的root密码

    前几天在用Navicat去连本地的MySQL的时候发现我已经忘了密码了,试了网上很多方式都不行…后来发现其实可以自己直接去看当初设置的密码,下面将方法总结出来分享给大家,有需要的朋友们可以参考借鉴,下面来一起看看吧。
    2017-01-01
  • JDBC连接MySQL5.7的方法

    JDBC连接MySQL5.7的方法

    这篇文章主要介绍了JDBC连接MySQL5.7的方法,需要的朋友可以参考下
    2018-05-05
  • Linux下指定mysql数据库数据配置主主同步的实例

    Linux下指定mysql数据库数据配置主主同步的实例

    Linux下指定数据库数据配置主主同步的实例,有需要的朋友可以参考下
    2013-01-01
  • 简单解析MySQL中的cardinality异常

    简单解析MySQL中的cardinality异常

    这篇文章主要介绍了简单解析MySQL中的cardinality异常,这个异常会导致索引无法使用,需要的朋友可以参考下
    2015-05-05
  • 对于mysql的query_cache认识的误区

    对于mysql的query_cache认识的误区

    一直以来,对于mysql的query_cache,在网上就流行着这样的说法,对于mysql的query_cache键值就是mysql的query,所以,如果在query中有任何的不同,包括多了个空格,都会导致mysql认为是不同的查询
    2012-03-03
  • 总结MySQL的分区

    总结MySQL的分区

    本文先是介绍了分区,而后又分别说明了怎样判断是否支持分区和如何删除增加分区,对分区的总结很详细,下面一起来看看吧。
    2016-08-08
  • Mysql慢查询优化方法及优化原则

    Mysql慢查询优化方法及优化原则

    这篇文章主要介绍了Mysql慢查询优化方法及优化原则,本文给大家介绍的非常详细,具有一定的参考借鉴价值 ,需要的朋友可以参考下
    2019-05-05
  • Mysql按条件计数多种实现方法详解

    Mysql按条件计数多种实现方法详解

    这篇文章主要介绍了Mysql按条件计数多种实现方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-07-07
  • Mysql服务器的启动与停止(一)

    Mysql服务器的启动与停止(一)

    Mysql服务器的启动与停止(一)...
    2006-11-11
  • CentOS 6.6 源码编译安装MySQL 5.7.18教程详解

    CentOS 6.6 源码编译安装MySQL 5.7.18教程详解

    这篇文章主要介绍了CentOS 6.6 源码编译安装MySQL 5.7.18教程详解,需要的朋友可以参考下
    2017-07-07

最新评论