python实现按关键字筛选日志文件

 更新时间:2019年12月24日 10:18:12   作者:变异的小江江  
今天小编大家分享一篇python实现按关键字筛选日志文件方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

最近忙成了狗,五六个项目堆在一起,头疼的是测试还失惊无神的给我丢来一个几十甚至上百M的日志文件,动不动就几十上百万行,就算是搜索也看得头昏眼花的,因此自己花了点时间写了一段小脚本去过滤日志,当然这样的东西网上应该大把,但是还是想自己搞下,权当学习!

#!/usr/bin/python
# -*- encoding: utf-8 -*-
# version 1.0
import re
import time
 
'''
用于筛选日志文件,适用于python2.x版本
使用时将日志文件放于search.py工具同一目录
筛选完毕后会出现“旧文件名+当前时间”格式命名的新日志文件
'''
 
 
def getParameters():
  file_name = ""
  key_work = ""
  while (True):
    file_name = raw_input("请输入文件名:")
    key_work = raw_input("请输入过滤关键字:")
    if len(file_name) == 0 or len(key_work) == 0:
      flag = raw_input("您输入的文件名或关键子为空,输出c重试,q退出程序:")
      if flag == "q":
        return
      elif flag == "c":
        continue
    else:
      break
 
  new_file = file_name + "-" + formatTime(time.localtime())
  f = open("./" + file_name, "rb")
  lines = f.readlines()
 
  if len(lines) == 0:
    print("========日志文件为空========")
    f.close()
    return
 
  nf = open("./" + new_file, "wb");
  count = 0
  for line in lines:
    rs = re.search(key_work, line)
    if rs:
      print("[命中]--->%s" % line)
      nf.write(line)
      count = count + 1
 
  f.close()
  nf.close()
  print("共找到%d条信息" % count)
 
 
def formatTime(timevalue):
  '''
  format the time numbers
  '''
  return time.strftime("%Y%m%d%H%M%S", timevalue)
 
 
if __name__ == '__main__':
  getParameters()
 
 
 

说明:这段脚本我是直接在终端上./xxxx.py的方式运行的,我终端由于编译android源码需要装的是python2.7.6,在python3上运行估计会有问题。

好了,下面是我测试了下的赛选结果:

当然,这只针对单个文件而已!

以上这篇python实现按关键字筛选日志文件就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python爬虫-模拟微博登录功能

    python爬虫-模拟微博登录功能

    这篇文章主要介绍了python爬虫-模拟微博登录功能,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-09-09
  • scrapy redis配置文件setting参数详解

    scrapy redis配置文件setting参数详解

    这篇文章主要介绍了scrapy redis配置文件setting参数详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-11-11
  • 让Django支持Sql Server作后端数据库的方法

    让Django支持Sql Server作后端数据库的方法

    今天小编就为大家分享一篇让Django支持Sql Server作后端数据库的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • Windows系统下多版本pip的共存问题详解

    Windows系统下多版本pip的共存问题详解

    这篇文章主要给大家介绍了关于在Windows系统下多版本pip的共存问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧。
    2017-10-10
  • MATLAB中text函数使用的语法与示例代码

    MATLAB中text函数使用的语法与示例代码

    text函数的功能是向数据点添加文本说明,下面这篇文章主要给大家介绍了关于MATLAB中text函数使用的语法与示例的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-05-05
  • Python中报错 “TypeError: ‘list‘ object is not callable”问题及解决

    Python中报错 “TypeError: ‘list‘ object is&n

    这篇文章主要介绍了Python中报错 “TypeError: ‘list‘ object is not callable”问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09
  • Python从csv文件中读取数据及提取数据的方法

    Python从csv文件中读取数据及提取数据的方法

    这篇文章主要介绍了Python从csv文件中读取数据并提取数据的方法,文中通过多种方法给大家讲解获取指定列的数据,并存入一个数组中,每种方法通过实例代码给大家介绍的非常详细,需要的朋友参考下吧
    2021-11-11
  • python案例练习合集

    python案例练习合集

    这篇文章主要介绍了python案例学习合集,主要的分享对的练习案例有python批量查询、python批量请求(GET | POST)、python列表转集合练习,需要的小伙伴可以参考一下,希望对你的学习有所帮助
    2022-02-02
  • 教你如何使用Python实现二叉树结构及三种遍历

    教你如何使用Python实现二叉树结构及三种遍历

    什么是二叉树:每个节点最多有两个子树的树结构,通常子树被称作“左子树”(left subtree)和“右子树”(right subtree) 二叉树由两个对象组成,一个是节点对象,一个是树对象,需要的朋友可以参考下
    2021-06-06
  • Python利用ORM控制MongoDB(MongoEngine)的步骤全纪录

    Python利用ORM控制MongoDB(MongoEngine)的步骤全纪录

    MongoEngine是一个对象文档映射器(ODM),相当于一个基于SQL的对象关系映射器(ORM),下面这篇文章主要给大家介绍了关于Python利用ORM控制MongoDB(MongoEngine)的相关资料,需要的朋友可以参考下
    2018-09-09

最新评论