Nginx日志实现访问异常报警详解

 更新时间:2017年03月04日 10:45:49   作者:LoyaChen  
Nginx把遇到的不同级别的问题信息写到错误日志。error_log 指令配置记录到特定的文件,stderr,或者syslog,配置写到日志的最低级别信息。下面这篇文章主要介绍了利用Nginx日志实现访问异常报警的相关资料,需要的朋友可以参考下。

前言

在工作中为了防止一些恶意访问的行为,例如不断的请求刷流量,通过实时过滤Nginx访问日志,将单位时间内访问次数达到指定阀值的来源ip及时的通知系统管理员,这里通过邮件的方式通知。

监控脚本

vim /opt/nginx/sbin/nginx_log_monitor.sh
#!/bin/bash
#日志文件
logfile=/opt/nginx/logs/www
 
#开始时间
start_time=`date -d"$last_minutes minutes ago" +"%H:%M:%S"`
 
#结束时间
stop_time=`date +"%H:%M:%S"`
 
#过滤出单位之间内的日志并统计最高ip数
tac $logfile/access.log | awk -v st="$start_time" -v et="$stop_time" '{t=substr($4,RSTART+14,21);if(t>=st && t<=et) {print $0}}' \
| awk '{print $1}' | sort | uniq -c | sort -nr > $logfile/log_ip_top10
ip_top=`cat $logfile/log_ip_top10 | head -1 | awk '{print $1}'`
# 单位时间[1分钟]内单ip访问次数超过200次,则触发邮件报警
if [[ $ip_top -gt 200 ]];then
 /usr/bin/python /opt/tools/send_mail.py &
fi
chmod +x /opt/nginx/sbin/nginx_log_monitor.sh

定时任务

如上脚本监控一分钟内的日志,因此每分钟执行一次:

# crontab -e
*/1 * * * * /bin/bash /opt/nginx/sbin/nginx_log_monitor.sh

邮件告警

这里通过python实现发送邮件

# vim /opt/tools/send_mail.py
# -*- coding: utf-8 -*-
from email import encoders
from email.header import Header
from email.mime.text import MIMEText
from email.utils import parseaddr, formataddr
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
from datetime import datetime
import os
import smtplib
def _format_addr(s):
 name, addr = parseaddr(s)
 return formataddr((Header(name, 'utf-8').encode(), addr))
# 邮箱定义
smtp_server = 'smtp.exmail.qq.com'
smtp_port = 465
from_addr = 'chenqingkang@qiniu.com'
password = os.environ.get('MAIL_PASSWD')
to_addr = ['810959120@qq.com']
# 邮件对象
msg = MIMEMultipart()
msg['From'] = _format_addr('发件人 <%s>' % from_addr)
msg['To'] = _format_addr('收件人 <%s>' % to_addr)
msg['Subject'] = Header('Warning:单ip请求次数异常', 'utf-8').encode()
# 获取系统中要发送的文本内容
with open('/opt/nginx/logs/log_ip_top10', 'r') as f:
 line = f.readline().strip()
 line = line.split(" ")
print(line)
# 邮件正文是MIMEText:
html = '<html><body><h2>一分钟内单ip请求次数超过阀值</h2>' + \
 '<p>ip:%s  请求次数/min:%s</p>' % (line[1],line[0]) + \
 '</body></html>' 
msg.attach(MIMEText(html, 'html', 'utf-8'))
server = smtplib.SMTP_SSL(smtp_server, smtp_port)
server.login(from_addr, password)
server.sendmail(from_addr, to_addr, msg.as_string())
server.quit()

示例

写个脚本不停curl请求资源触发报警:

# vim curl.sh
#!/bin/bash
#example:curl.sh http://www.qingkang.me 100
usage()
{
 echo "usage: `basename $0` url count"
}
if [ $# -ne 2 ]; then
 usage
 exit 1
fi
for i in `seq 1 $2`;do
 http_code=`curl -o /dev/null -s -w %{http_code} $1`
 echo $1 $http_code
done
# bash curl.sh http://qingkang.me/ 5
http://qingkang.me/ 200
http://qingkang.me/ 200
http://qingkang.me/ 200
http://qingkang.me/ 200
http://qingkang.me/ 200

调低阀值触发告警:

一分钟内单ip请求次数超过阀值
ip:115.231.182.82 请求次数/min:27

完善

这里仅实现了邮件告警功能,实际上还可以实现自动屏蔽恶意访问的ip。可以通过Nginx deny来实现,也可以iptables -I INPUT -s x.x.x.x -j DROP通过iptables屏蔽。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家能有一定的帮助,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。

相关文章

  • 详解Nginx配置文件

    详解Nginx配置文件

    Nginx是lgor Sysoev为俄罗斯访问量第二的rambler.ru站点设计开发的,Nginx功能丰富,可作为HTTP服务器,也可作为反向代理服务器,邮件服务器。这篇文章主要介绍了Nginx配置文件,需要的朋友参考下
    2017-01-01
  • Nginx实现异步访问mysql的配置方法

    Nginx实现异步访问mysql的配置方法

    这篇文章主要介绍了Nginx实现异步访问mysql的配置方法,本文先是讲解了安装配置方法,然后给出了使用方法,需要的朋友可以参考下
    2015-06-06
  • Nginx常用技巧使用实例汇总

    Nginx常用技巧使用实例汇总

    这篇文章主要介绍了Nginx常用技巧使用实例汇总,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-09-09
  • Nginx服务器中关于SSL的安全配置详解

    Nginx服务器中关于SSL的安全配置详解

    这篇文章主要介绍了Nginx服务器中关于SSL的安全配置详解,2014年曝出的SSL安全漏洞无疑为整个业界带来了巨大震动,本文便对此给出相关安全维护方法,需要的朋友可以参考下
    2015-06-06
  • 对Nginx支持SSL的性能进行优化的方法

    对Nginx支持SSL的性能进行优化的方法

    这篇文章主要介绍了对Nginx支持SSL的性能进行优化的方法,作者分别以不同方法进行了8个优化实验,需要的朋友可以参考下
    2015-06-06
  • nginx配置SSL证书实现https服务的方法

    nginx配置SSL证书实现https服务的方法

    这篇文章主要介绍了nginx配置SSL证书实现https服务的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-05-05
  • Nginx启用GZIP压缩网页传输方法(推荐)

    Nginx启用GZIP压缩网页传输方法(推荐)

    Gzip压缩我很早已经就启用了,不过从未与大家分享过。今天小编给大家分享Nginx启用GZIP压缩网页传输方法,需要的朋友参考下吧
    2017-01-01
  • windows7下安装PHP+nginx的方法

    windows7下安装PHP+nginx的方法

    这篇文章主要介绍了windows7下安装PHP+nginx的方法,较为详细的分析了Windows7环境下安装php与nginx服务器环境的具体步骤与相关设置技巧,需要的朋友可以参考下
    2016-05-05
  • Nginx配置多端口多域名访问的实现

    Nginx配置多端口多域名访问的实现

    这篇文章主要介绍了Nginx配置多端口多域名访问的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-11-11
  • Nginx学习笔记之事件驱动框架处理流程

    Nginx学习笔记之事件驱动框架处理流程

    Nginx对请求的处理是通过事件触发的,模块作为事件消费者,只能被事件收集、分发器调用。在Nginx中,接收到一个请求时,不会产生一个单独的进程来处理该请求,而是由事件收集、分发器(进程)调用某个模块,由模块处理请求,处理完后再返回到事件收集、分发器
    2014-07-07

最新评论