脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → nginx → Nginx日志访问异常报警

Nginx日志实现访问异常报警详解

 更新时间：2017年03月04日 10:45:49   作者：LoyaChen  
Nginx把遇到的不同级别的问题信息写到错误日志。error_log 指令配置记录到特定的文件，stderr，或者syslog，配置写到日志的最低级别信息。下面这篇文章主要介绍了利用Nginx日志实现访问异常报警的相关资料，需要的朋友可以参考下。

前言

在工作中为了防止一些恶意访问的行为，例如不断的请求刷流量，通过实时过滤Nginx访问日志，将单位时间内访问次数达到指定阀值的来源ip及时的通知系统管理员，这里通过邮件的方式通知。

监控脚本

vim /opt/nginx/sbin/nginx_log_monitor.sh
#!/bin/bash
#日志文件
logfile=/opt/nginx/logs/www
 
#开始时间
start_time=`date -d"$last_minutes minutes ago" +"%H:%M:%S"`
 
#结束时间
stop_time=`date +"%H:%M:%S"`
 
#过滤出单位之间内的日志并统计最高ip数
tac $logfile/access.log | awk -v st="$start_time" -v et="$stop_time" '{t=substr($4,RSTART+14,21);if(t>=st && t<=et) {print $0}}' \
| awk '{print $1}' | sort | uniq -c | sort -nr > $logfile/log_ip_top10
ip_top=`cat $logfile/log_ip_top10 | head -1 | awk '{print $1}'`
# 单位时间[1分钟]内单ip访问次数超过200次，则触发邮件报警
if [[ $ip_top -gt 200 ]];then
 /usr/bin/python /opt/tools/send_mail.py &
fi
chmod +x /opt/nginx/sbin/nginx_log_monitor.sh

定时任务

如上脚本监控一分钟内的日志，因此每分钟执行一次：

# crontab -e
*/1 * * * * /bin/bash /opt/nginx/sbin/nginx_log_monitor.sh

邮件告警

这里通过python实现发送邮件

# vim /opt/tools/send_mail.py
# -*- coding: utf-8 -*-
from email import encoders
from email.header import Header
from email.mime.text import MIMEText
from email.utils import parseaddr, formataddr
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
from datetime import datetime
import os
import smtplib
def _format_addr(s):
 name, addr = parseaddr(s)
 return formataddr((Header(name, 'utf-8').encode(), addr))
# 邮箱定义
smtp_server = 'smtp.exmail.qq.com'
smtp_port = 465
from_addr = 'chenqingkang@qiniu.com'
password = os.environ.get('MAIL_PASSWD')
to_addr = ['810959120@qq.com']
# 邮件对象
msg = MIMEMultipart()
msg['From'] = _format_addr('发件人 <%s>' % from_addr)
msg['To'] = _format_addr('收件人 <%s>' % to_addr)
msg['Subject'] = Header('Warning:单ip请求次数异常', 'utf-8').encode()
# 获取系统中要发送的文本内容
with open('/opt/nginx/logs/log_ip_top10', 'r') as f:
 line = f.readline().strip()
 line = line.split(" ")
print(line)
# 邮件正文是MIMEText:
html = '<html><body><h2>一分钟内单ip请求次数超过阀值</h2>' + \
 '<p>ip:%s  请求次数/min:%s</p>' % (line[1],line[0]) + \
 '</body></html>' 
msg.attach(MIMEText(html, 'html', 'utf-8'))
server = smtplib.SMTP_SSL(smtp_server, smtp_port)
server.login(from_addr, password)
server.sendmail(from_addr, to_addr, msg.as_string())
server.quit()

示例

写个脚本不停curl请求资源触发报警：

# vim curl.sh
#!/bin/bash
#example：curl.sh http://www.qingkang.me 100
usage()
{
 echo "usage: `basename $0` url count"
}
if [ $# -ne 2 ]; then
 usage
 exit 1
fi
for i in `seq 1 $2`;do
 http_code=`curl -o /dev/null -s -w %{http_code} $1`
 echo $1 $http_code
done
# bash curl.sh http://qingkang.me/ 5
http://qingkang.me/ 200
http://qingkang.me/ 200
http://qingkang.me/ 200
http://qingkang.me/ 200
http://qingkang.me/ 200

调低阀值触发告警：

一分钟内单ip请求次数超过阀值
ip:115.231.182.82 请求次数/min:27

完善

这里仅实现了邮件告警功能，实际上还可以实现自动屏蔽恶意访问的ip。可以通过Nginx deny来实现，也可以iptables -I INPUT -s x.x.x.x -j DROP通过iptables屏蔽。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家能有一定的帮助，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。

您可能感兴趣的文章:

相关文章

  • nginx如何设置服务器响应时间长短

    nginx如何设置服务器响应时间长短

    本文主要介绍了nginx如何设置服务器响应时间长短,主要介绍了两种方法,具有一定的参考价值,感兴趣的可以了解一下
    2023-09-09
  • Nginx配置防盗链的完整步骤

    Nginx配置防盗链的完整步骤

    这篇文章主要给大家介绍了关于Nginx配置防盗链的完整步骤，文中通过示例代码介绍的非常详细，对大家学习或者使用Nginx具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
    2019-08-08
  • nginx php-fpm中启用慢日志配置（用于检测执行较慢的PHP脚本）

    nginx php-fpm中启用慢日志配置（用于检测执行较慢的PHP脚本）

    这篇文章主要介绍了nginx php-fpm中启用慢日志配置,php-fpm慢日志slowlog设置可以让我们很好的看见哪些php进程速度太慢而导致的网站问题,可以让我们方便的找到问题的所在,需要的朋友可以参考下
    2014-05-05
  • Nginx 服务器重启关闭重新加载命令

    Nginx 服务器重启关闭重新加载命令

    这篇文章主要介绍了Nginx 服务器重启关闭重新加载命令,非常不错，具有参考借鉴价值，需要的朋友可以参考下
    2017-03-03
  • Nginx中使用gzip_http_version解决CDN只支持http 1.0问题

    Nginx中使用gzip_http_version解决CDN只支持http 1.0问题

    这篇文章主要介绍了Nginx中使用gzip_http_version解决CDN只支持http 1.0问题,问题原因是在Header信息中看到Transfer-Encoding: chunked,使用本文方法就可以解决这个问题,需要的朋友可以参考下
    2014-09-09
  • nginx降权与匹配php详细讲解

    nginx降权与匹配php详细讲解

    大部分网站开发语言都要运行在服务器,比如主流的nginx、apache等等,下面这篇文章主要给大家介绍了关于nginx降权与匹配php的相关资料,需要的朋友可以参考下
    2023-01-01
  • 利用nginx+lua+redis实现反向代理方法教程

    利用nginx+lua+redis实现反向代理方法教程

    这篇文章主要给大家介绍了利用nginx+lua+redis实现反向代理方法教程，文中介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面来一起看看吧。
    2017-05-05
  • 网站如何通过nginx设置黑/白名单IP限制及国家城市IP访问限制

    网站如何通过nginx设置黑/白名单IP限制及国家城市IP访问限制

    如果你的服务器被攻击很厉害,而且服务器是自己练手的,不需要其他用户访问的,那么就可以配置一下nginx的白名单,下面这篇文章主要给大家介绍了关于网站如何通过nginx设置黑/白名单IP限制及国家城市IP访问限制的相关资料,需要的朋友可以参考下
    2022-07-07
  • 解决SSE流被Nginx缓存的问题

    解决SSE流被Nginx缓存的问题

    如果你的服务使用了nginx网关,可能会出现nginx缓冲sse流的问题,导致的现象是,客户端调用sse接口时,流数据并不是一条条出现的,而是一口气出现的,本文将给大家介绍如何解决SSE流被Nginx缓存的问题,需要的朋友可以参考下
    2023-10-10
  • Nginx实现浏览器可实时查看访问日志的步骤详解

    Nginx实现浏览器可实时查看访问日志的步骤详解

    我们经常需要在页面上实时查看nginx的日志输出，并且能在页面上显示，那么下面小编就给大家说下怎么在浏览器上实时动态的查看nginx的访问日志，有需要的朋友们可以参考借鉴。
    2016-09-09

最新评论