shell脚本实现Hbase服务的监控报警和自动拉起问题

 更新时间:2022年11月09日 14:13:00   作者:时间的往事  
这篇文章主要介绍了shell脚本实现Hbase服务的监控报警和自动拉起,主要是通过服务名监控和端口监控,通过企业微信消息通知脚本,对此内容感兴趣的朋友跟随小编一起看看吧

需求说明

期初是我们的物理机上安装了Hbase,由于物理机硬件配置还可以,1T内存,64核。
只有4台机器,我们装完Hbase后,发现应用请求比较多,导致RegionServer经常挂掉。
但是机器本身资源使用率并不高,因此我们希望在一个节点上启用多个RegionServer服务。

如果一个节点启动2个RegionServe服务,那么通过服务名称方式就无法监控每个服务,所以改用了端口监控的方式。
当服务出现异常挂掉后,可以自动报警,并自动拉起该服务。

1. 通过服务名监控

monitor_regionserver.sh

#!/bin/sh
# 必须配置,引入环境变量;不然使用crond 定时执行脚本无法启动Java应用

source /etc/profile

#当前时间
now=`date +"%Y-%m-%d %H:%M:%S"`
file_name="/opt/local/listen/monitor.log"  #重启脚本的日志,保证可写入,保险一点执行 chmod 777 data.log
pid=0
hostname=`hostname`

proc_num()
{
    num=`ps -ef | grep 'HRegionServer' | grep -v grep | wc -l`
    return $num
}
proc_id()
{
    pid=`ps -ef | grep 'HRegionServer' | grep -v grep | awk '{print $2}'`
}

proc_num  #执行proc_num(),获取进程数
number=$?  #获取上一函数返回值

if [ $number -eq 0 ];then

    /opt/local/hbase/bin/hbase-daemon.sh start regionserver
    sleep 5
    proc_id
    echo "${now} 应用服务:HRegionServer不存在,正在重启服务,进程号 -> ${pid}" >> $file_name  #把重启的进程号、时间 写入日志
    /opt/local/listen/weixin.sh "生产服务器:${hostname} HRegionServer已停止,正在重启服务,PID -> ${pid}"
else
    proc_id
    echo "${now}  应用服务:HRegionServer 正常,进程号-> ${pid}"  >> $file_name
fi

2. 通过端口监控

端口监控有2个脚本,一个是监控脚本listen_port.sh,一个用来执行的脚本monitor_port.sh。
monitor_port.sh可以直接用命令代替。

脚本listen_port.sh,用来监听指定端口的RegionServer,运行时需要指定端口号。

#!/bin/sh
source /etc/profile

#指定脚本路径
script_path=/opt/local/listen/

if [ $# != 2 ];then
   echo '请输入端口和Hbase的路径'
   exit 1;
fi

port=$1
hbase_home=$2

echo '正在监听端口号:' $port


#当前时间
now=`date +"%Y-%m-%d %H:%M:%S"`
file_name=${script_path}"monitor.log"  #重启脚本的日志,保证可写入,保险一点执行 chmod 777 data.log
pid=0
hostname=`hostname`
proc_num()
{
    num=`netstat -nltp | grep ${port} |awk '{print $4}'|grep -v grep|wc -l`
    return $num
}
proc_id()
{
    pid=`netstat -nltp | grep ${port} |awk '{print $7}'|cut -d/ -f1`
}


proc_num  #执行proc_num(),获取进程数
number=$?  #获取上一函数返回值

if [ $number -eq 0 ];then

    $hbase_home/bin/hbase-daemon.sh start regionserver
    sleep 5
    proc_id
    echo "${now} 应用服务:HRegionServer不存在,正在重启服务,端口:${port} 进程号:${pid}" >> $file_name  #把重启的进程号、时间 写入日志
    ${script_path}/weixin.sh "测试服务器:${hostname}:${port} HRegionServer已停止,正在重启服务,PID -> ${pid}"

else
    proc_id
    echo "${now} HRegionServer 正常,端口:${port} 进程号:${pid}"  >> $file_name
fi

脚本monitor_port.sh,用来执行listen_port.sh脚本。

#!/bin/sh
source /etc/profile
/opt/local/listen/listen_port.sh 16020 /opt/local/hbase/
sleep 1
/opt/local/listen/listen_port.sh 16120 /opt/local/hbase2/

3. 企业微信消息通知脚本

微信报警脚本weixin.sh,将下面的xxxxxxxxx换成自己的key就好。

#!/bin/bash
content=${@:1}
content=${content//\ /}
content=${content//\"/}
date=$(date +%Y-%m-%d)
time=$(date "+%H:%M:%S")
content="
**Hbase**
    >告警时间:$date.$time
    >告警详情:$content

"
webHookUrl="https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xxxxxxxxxxxxxxxxxx"
content='{"msgtype": "markdown","markdown": {"content": "'$content'","mentioned_list":"@all"},}'
echo "content : $content"
curl --data-ascii "$content" $webHookUrl
echo "over!"

4.定时调度

使用crontab每间隔1分钟执行一次。

# 监控服务名的
*/1 * * * * sh /opt/local/listen/monitor_regionserver.sh >/dev/null 2>&1

# 监控端口的
*/1 * * * * sh /opt/local/listen/monitor_port.sh >/dev/null 2>&1

5. 报警信息

报警信息样式可以自己在weixin.sh中定义,支持markdown写法。

到此这篇关于shell脚本实现Hbase服务的监控报警和自动拉起的文章就介绍到这了,更多相关shell脚本Hbase服务监控报警内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Shell脚本实现的猜数字小游戏

    Shell脚本实现的猜数字小游戏

    这篇文章主要介绍了Shell脚本实现的猜数字小游戏,本文的猜数字规则相对一般规则的猜数字可能难度要大不少,需要的朋友可以参考下
    2014-12-12
  • Shell脚本中$符号的嵌套使用方法小结

    Shell脚本中$符号的嵌套使用方法小结

    在编写Shell脚本时,通过嵌套使用$符号,间接获取变量或表达式的值的具体方法,文中根据实例编码详细介绍的十分详尽,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2023-05-05
  • 在Shell脚本中调用另一个脚本的三种方式讲解

    在Shell脚本中调用另一个脚本的三种方式讲解

    今天小编就为大家分享一篇关于在Shell脚本中调用另一个脚本的三种方式讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-04-04
  • 详解systemctl 和 service 区别及命令

    详解systemctl 和 service 区别及命令

    systemctl和service都是管理Linux系统服务的工具,但systemctl更加先进,可以方便地管理systemd服务,而service适用于管理传统的SysV服务,这篇文章主要介绍了systemctl和service区别及命令,需要的朋友可以参考下
    2023-07-07
  • shell脚本学习指南[四](Arnold Robbins & Nelson H.F. Beebe著)

    shell脚本学习指南[四](Arnold Robbins & Nelson H.F. Beebe著)

    这篇文章主要介绍了shell脚本学习指南[四](Arnold Robbins & Nelson H.F. Beebe著),需要的朋友可以参考下
    2014-02-02
  • shell脚本监控mysql主从状态

    shell脚本监控mysql主从状态

    这篇文章主要介绍了shell脚本监控mysql主从状态,如果异常则邮件警告,需要的朋友可以参考下
    2014-05-05
  • Linux系统links和elinks命令的基本使用教程

    Linux系统links和elinks命令的基本使用教程

    links和elinks都是Linux系统下的命令行浏览器,主要用于在终端中查看网页内容,这篇文章主要介绍了Linux系统之links和elinks命令的基本使用,需要的朋友可以参考下
    2023-09-09
  • shell中长命令的换行处理方法示例

    shell中长命令的换行处理方法示例

    这篇文章主要给大家介绍了关于shell中长命令的换行处理方法,文中通过示例代码介绍的非常详细,对大家学习或者使用shell具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-07-07
  • 利用shell获取指定日期前N天的日期

    利用shell获取指定日期前N天的日期

    最近因为项目的需要对比2015年10月的数据,因为一年来的数据经过了很多次调整和处理,遇到的最直接的问题是很多数据需要重新计算。只好写脚本刷数据。在准备脚本的过程中,就需要根据给定的日期处理数据,所以就有了这篇文章,下面有需要的朋友们一起学习学习。
    2016-11-11
  • Linux shell数组与关联数组的用法实例

    Linux shell数组与关联数组的用法实例

    今天小编就为大家分享一篇关于Linux shell数组与关联数组的用法实例,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-02-02

最新评论