利用python分析access日志的方法
更新时间：2016年10月26日 09:05:29 投稿：daisy
最近在自学python，光看是不行的，还是要多实操的。这就是一个写给自己的小小工具。主要功能是，便利日志文件夹下的文件，根据设定的关键字查找是否有web攻击行为。有需要的朋友们下面来一起看看吧。
前言
WAF上线之后，处理最多的是误报消除。
产生误报有多种原因，比如web应用源码编写时允许客户端提交过多的cookie；比如单个参数提交的数值太大。
把误报降低到了可接受的范围后，还要关注漏报。WAF不是神，任何WAF都可能被绕过。所以还需要定位漏过的攻击，明确漏报的原因，才能update WAF的策略。
要定位漏报，就必须分析Web应用的访问日志了。一个站点，每天产生的access日志大概接近1GB，显然靠肉眼看是不现实的。这就需要用python帮助自动分析。
实现思路
拿我司某Web系统举例：
apache开启了access日志记录
日志规则是每小时生成一个日志文件，以站点名称为文件名，以日期+时间为后缀。例如：special.XXXXXX.com.cn.2016101001
要分析这些散碎的日志文件，我的思路如下：
1、根据用户命令行输入获取日志文件所在目录；
2、遍历目录下所有文件，合并到一个文件；
3、定义web攻击常见payload的字符串：
SQLi的：select、union、+–+；
Struts的：ognl、java
webshell常见的：base64、eval、excute
使用正则逐行匹配，将命中的日志复制到单独的文件。
实现代码
代码如下：
# -*-coding: utf-8 -*-
import os,re,sys
if len(sys.argv) != 2 :
print 'Usage : python logaudit.py <path>'
sys.exit()
logpath = sys.argv[1]
#获取输入参数的文件路径'
merge = re.compile(r'.*(\d[10])')
for root , dirs , files in os.walk(logpath):
for line in files:
#遍历日志文件夹，合并所有内容到一个文件
pipei = merge.match(line)
if pipei != None:
tmppath = root + '\\' +line
logread1 = open(tmppath,'r')
logread = logread1.read()
log2txt = open('.\\log.txt','a')
log2txt.write(logread)
log2txt.close()
logread1.close()
else:
exit
log = open('.//log.txt','r')
logread = log.readlines()
auditString = re.compile(r'.*[^_][sS][eE][lL][eE][cC][tT][^.].*|.*[uU][nN][iI][Oo][nN].*|.*[bB][aA][sS][eE][^.].*|.*[oO][gG][nN][lL].*|.*[eE][vV][aA][lL][(].*|.*[eE][xX][cC][uU][tT][eE].*')
writelog = open('.//result.txt','a')
for lines in logread:
auditResult = auditString.match(lines)
if auditResult != None:
writelog.write(auditResult.group())
writelog.write('\n')
else:
exit
writelog.close()
log.close()
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流。
相关文章
这篇文章主要介绍了node中短信api实现验证码登录的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-01-01
Node.js中的文件系统(file system)模块详解
Node.js文件系统模块提供了丰富的方法,用于读取、写入、操作文件和目录,文件系统模块是Node.js强大而灵活的一部分,为文件操作提供了方便的API,本文给大家介绍Node.js中的文件系统（file system）模块,感兴趣的朋友一起看看吧2023-11-11
这篇文章主要介绍了express express-session的使用小结，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍了nodejs连接ftp上传下载实现方法,结合实例形式详细分析了node.js使用ftp模块实现针对ftp上传、下载相关操作的方法,并附带记录了传输速度慢的解决方法,需要的朋友可以参考下2023-04-04
这篇文章主要介绍了关于node+mysql数据库连接池连接,mysql有两种连接方式：一种是直接连接 另一种是池化连接，我们这篇讲的是池化连接,需要的朋友可以参考下2023-04-04
我们经常在卸载软件的时候会遇到有残留，这样就很难去重新下载，本篇文章就来介绍mac下彻底卸载node和npm及重新安装的方法，有需要的朋友可以借鉴参考下2021-09-09
PNPM是一个新的包管理工具,也是NPM的另一个替代方案,与NPM不同,PNPM使用符号链接（symlink）而不是复制文件来安装包,这篇文章主要介绍了node pnpm修改默认包的存储路径,需要的朋友可以参考下2024-05-05
这篇文章主要为大家详细介绍了electron如何拦截网络请求并处理响应,文中的示例代码讲解详细,具有一定的借鉴价值,感兴趣的小伙伴可以跟随小编一起学习一下2023-12-12
在不同的操作系统中,路径的表示方式有很大的差异,当编写跨平台的 Node.js 应用时,正确判断路径的绝对性变得至关重要,本文提供了path-is-absolute模块的详细使用指南,它是一个兼容 Node.js 早期版本且适用于所有操作系统的解决方案,需要的朋友可以参考下2024-04-04
PM2 是一个流行的进程管理器,用于 Node.js 应用程序,它支持应用程序的负载均衡、自动重启、日志管理、监控以及多环境管理等功能,本文给大家介绍了如何使用PM2实现高效的应用监控与管理功能,需要的朋友可以参考下2024-02-02
最新评论