python实现实时监控文件的方法
在业务稳定性要求比较高的情况下，运维为能及时发现问题，有时需要对应用程序的日志进行实时分析，当符合某个条件时就立刻报警，而不是被动等待出问题后去解决，比如要监控nginx的$request_time和$upstream_response_time时间，分析出最耗时的请求，然后去改进代码，这时就要对日志进行实时分析了，发现时间长的语句就要报警出来，提醒开发人员要关注，当然这是其中一个应用场景，通过这种监控方式还可以应用到任何需要判断或分析文件的地方，所以今天我们就来看看如何用python实现实时监控文件，我给三个方法实例：：
第一种：
这个是最简单的和容易理解的，因为大家都知道linux下有tail命令，所以你可以直接用Popen()函数去调用这个命令来执行获取输出，代码如下：
logfile='access.log' command='tail -f ‘+logfile+'|grep “timeout”‘ popen=subprocess.Popen(command,stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True) while True: line=popen.stdout.readline().strip() print line
第二种：
采用python对文件的操作来实现，用文件对象的tell(), seek()方法分别得到当前文件位置和要移动到的位置，代码如下：
import time file = open(‘access.log') while 1: where = file.tell() line = file.readline() if not line: time.sleep(1) file.seek(where) else: print line,
第三种：
利用python的 yield来实现一个生成器函数，然后调用这个生成器函数，这样当日志文件有变化时就打印新的行，代码如下：
import time def follow(thefile): thefile.seek(0,2) while True: line = thefile.readline() if not line: time.sleep(0.1) continue yield line if __name__ == ‘__main__': logfile = open(“access-log”,”r”) loglines = follow(logfile) for line in loglines: print line,
最后解释下seek()函数的用法，这个函数接收2个参数：file.seek(off, whence=0)，从文件中移动off个操作标记（文件指针），正数往结束方向移动，负数往开始方向移动。如果设定了whence参数，就以whence设定的起始位为准，0代表从头开始，1代表当前位置，2代表文件最末尾位置。
以上就是三个常用方法，具体日志分析的代码大家可以根据自己的业务逻辑去实现，完毕。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python高级特性 切片 迭代解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
Python偏函数Partial function使用方法实例详解
这篇文章主要介绍了Python偏函数Partial function使用方法实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
今天小编就为大家分享一篇python绘制BA无标度网络示例代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
在本篇内容里小编给大家分享的是关于python中while和for的区别以及相关知识点，需要的朋友们可以学习下。2019-06-06
OpenCV是一个开源库,包含了许多计算机视觉算法,它在计算机视觉和图像处理中起着重要作用,用于实时操作,其效率足以满足工业上的要求,这篇文章主要给大家介绍了关于opencv python简易文档之图像处理算法的相关资料,需要的朋友可以参考下2021-08-08
Java实现的执行python脚本工具类示例【使用jython.jar】
这篇文章主要介绍了Java实现的执行python脚本工具类,结合实例形式分析了java使用jython.jar执行Python脚本的具体操作技巧,需要的朋友可以参考下2018-03-03
这篇文章主要介绍了Python Matplotlib 库使用基本指南,通过本教程,我们学习了使用 Matplotlib 创建各种类型的图表和图形,Matplotlib 提供了丰富的函数和选项,以满足不同的数据可视化需求,需要的朋友可以参考下2024-01-01
python实现时间序列自相关图(acf)、偏自相关图(pacf)教程
这篇文章主要介绍了python实现时间序列自相关图(acf)、偏自相关图(pacf)教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
俄罗斯方块是一个最初由阿列克谢帕吉特诺夫在苏联设计和编程的益智类视频游戏。本文将利用python实现这一经典的小游戏，需要的可以参考一下2022-03-03
Python基于wordcloud及jieba实现中国地图词云图
这篇文章主要介绍了Python基于wordcloud及jieba实现中国地图词云图,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
最新评论