PHP简单实现定时监控nginx日志文件功能示例

 更新时间:2018年06月28日 14:52:25   作者:WhoAmMe  
这篇文章主要介绍了PHP简单实现定时监控nginx日志文件功能,涉及php定时读取nginx服务器日志以及基于curl的数据传输相关操作技巧,需要的朋友可以参考下

本文实例讲述了PHP简单实现定时监控nginx日志文件功能。分享给大家供大家参考,具体如下:

此功能是为了实现,定时监控nginx生成的日志数据,并将新增的数据提交到一个接口(比如大数据的接口,让大数据来进行分析)

define("MAX_SHOW", 8192*5); //新增数据提交阈值
define("LOG_NAME", ""); //读取的日志文件
define("LOG_SIZE", ""); //保留上次读取的位置
define("LOG_URL", ""); //日志提交地址
//运行时log文件原始大小
$log_size    = get_filesize();
$file_size     = filesize(LOG_NAME);
if(empty($log_size)){//没有记录上次位置,则从当前位置开始
  $file_size = $file_size;
}else if($log_size > $file_size){ //说明是第二天的日志文件,指针放到文件头
  $file_size = 0;
}else{ //从上次记录的位置开始
  $file_size = $log_size;
}
$file_size_new   = 0;
$add_size     = 0;
$ignore_size   = 0;
$fp = fopen(LOG_NAME, "r");
while(1){
  clearstatcache();
  $read_num = 0;
  $file_size_new = filesize(LOG_NAME);
  $add_size = $file_size_new - $file_size;
  $add_data = array();
  $add_log = '';
  if($add_size > 0){
    //大于一个阈值提交数据
    if($add_size > MAX_SHOW){
      fseek($fp, $file_size);
      //当增加量超过8192,需要分页读取增加量
      $page = ceil($add_size/8192);
      for($i=1; $i<=$page; $i++){
        if($i == $page){//最后一页
          $end_add = $add_size - ($page -1) * 8192;
          $add_log .= fread($fp, $end_add);
        }else{
          $add_log .= fread($fp, 8192);
          $file_size_step = $file_size + $i * 8192;
          fseek($fp, $file_size_step);
        }
      }
      $add_data['add_log'] = $add_log;
      $add_data['add_log'] = base64_encode($add_data['add_log']);
      http_post(LOG_URL, $add_data);
      $file_size = $file_size_new;
      //记录当前位置
      save_filesize($file_size);
    }
  }else if($add_size < 0){ //第二天从头部开始
    $file_size = 0;
  }
  sleep(2);
}
fclose($fp);
/**
 * 每次启动时获取上次打开文件位置
 */
function get_filesize(){
  $size = file_get_contents(LOG_SIZE);
  return $size;
}
/**
 * 每次提交后保存这次读取文件的位置
 */
function save_filesize($size){
  return file_put_contents(LOG_SIZE, $size);
}
/**
 * http请求
 * @param array $data
 * @return boolean
 */
function http_post($url = '', $data = array())
{
  if(empty($url)){
    return FALSE;
  }
  if($data){
    $data = http_build_query($data);
  }
  $ch = curl_init ();
  curl_setopt ( $ch, CURLOPT_URL, $url );
  curl_setopt ( $ch, CURLOPT_POST, 1 );
  curl_setopt ( $ch, CURLOPT_HEADER, 0 );
  curl_setopt ( $ch, CURLOPT_TIMEOUT, 5 );
  curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, 1 );
  curl_setopt ( $ch, CURLOPT_POSTFIELDS, $data );
  $return = curl_exec ( $ch );
  curl_close ( $ch );
  return $return;
}

备注:由于日志文件过了凌晨会切割,所以需要做一下判断,判断是第二天的日志需要从日志文件头部进行读取

需要优化的逻辑:当中间进程挂了,停了一段时间,再启动时,从上次的位置重新读取,提交的数据会比较大,可能会超过提交数据大小的限制

更多关于PHP相关内容感兴趣的读者可查看本站专题:《PHP日志操作技巧总结》、《php文件操作总结》、《PHP数组(Array)操作技巧大全》、《PHP基本语法入门教程》、《php字符串(string)用法总结》、《php+mysql数据库操作入门教程》及《php常见数据库操作技巧汇总

希望本文所述对大家PHP程序设计有所帮助。

相关文章

  • PHP排序算法类实例

    PHP排序算法类实例

    这篇文章主要介绍了PHP排序算法类,实例分析了插入排序、选择排序、冒泡排序、快速排序等排序算法的原理与实现技巧,需要的朋友可以参考下
    2015-06-06
  • PHP 上传文件的方法(类)

    PHP 上传文件的方法(类)

    一个很简单的,常用PHP上次方法,我是从类里给大家拿出来的,直接可以使用,也可以继续完善一下,大家参考一下
    2009-07-07
  • php缩放gif和png图透明背景变成黑色的解决方法

    php缩放gif和png图透明背景变成黑色的解决方法

    需要缩放一些gif图然后在去Imagecopymerge,后发现背景图不对,透明的背景图变成了黑色,下面是修改之后的代码
    2014-10-10
  • Optimizer与Debugger兼容性问题的解决方法

    Optimizer与Debugger兼容性问题的解决方法

    网上许多声音说Optimizer与Debugger有冲突,不能同时开。其实是可以的,他们两个都是Zend扩展插件,两个单独安装都可以使用,但是要同时安装的话必须使用一个管理器
    2008-12-12
  • 攻克CakePHP系列三 表单数据增删改

    攻克CakePHP系列三 表单数据增删改

    下面的代码是CakePHP下对表单数据的增加,删除,修改实现代码
    2008-10-10
  • 利用PHPExcel读取Excel的数据和导出数据到Excel

    利用PHPExcel读取Excel的数据和导出数据到Excel

    本篇文章主要介绍了利用PHPExcel读取Excel的数据和导出数据到Excel的相关知识,具有很好的参考价值。下面跟着小编一起来看下吧
    2017-05-05
  • PHP实现的猴王算法(猴子选大王)示例

    PHP实现的猴王算法(猴子选大王)示例

    这篇文章主要介绍了PHP实现的猴王算法(猴子选大王),对比分析了两种PHP猴王算法,涉及PHP数组遍历、判断、递归等相关操作技巧,需要的朋友可以参考下
    2018-04-04
  • php实现的常见排序算法汇总

    php实现的常见排序算法汇总

    这篇文章主要介绍了php实现的常见排序算法汇总,包括插入排序、选择排序、冒泡排序、快速排序、归并排序与堆排序,并附有对排序算法的详细说明,需要的朋友可以参考下
    2014-09-09
  • 2020最新版 PhpStudy V8.1版本下载安装使用详解

    2020最新版 PhpStudy V8.1版本下载安装使用详解

    这篇文章主要介绍了2020最新版 PhpStudy V8.1版本下载安装使用详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10
  • CURL的学习和应用(附多线程实现)

    CURL的学习和应用(附多线程实现)

    这篇文章主要介绍了CURL的安装与多线程实现方法,需要的朋友可以参考下
    2013-06-06

最新评论