脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → linux shell → shell统计pv和uv

shell统计pv和uv、独立ip的方法

 更新时间：2014年04月24日 11:03:37   作者：  
这篇文章主要介绍了shell统计pv和uv、独立ip的方法,需要的朋友可以参考下

每天分析日志的哥们实在伤不起，经常需要给出PV,UV，独立IP等一些统计值，使用C/C++，java都可以写，过程是这样的，先读取文件，逐行扫描，把能标记的值放入数据结构中，排重得出最终结果，其实Linux本身有很强大的文本处理功能，完全可以用shell + 一些文本小工具得出结果。

Nngix输出的access log文件如下：

日志文件代码 

复制代码 代码如下:

192.168.1.166 - - 119272312 [05/Nov/2011:16:06:59 +0800] "GET /index.html HTTP/1.1" 200 370 "http://192.168.1.201/" "Chrome/15.0.874.106" "-" 
192.168.1.166 - - 119272312 [05/Nov/2011:16:06:59 +0800] "GET /poweredby.png HTTP/1.1" 200 3034 "http://192.168.1.201/" "Chrome/15.0.874.106" "-" 
192.168.1.177 - - 1007071650 [05/Nov/2011:16:06:59 +0800] "GET /favicon.ico HTTP/1.1" 404 3650 "-" "Chrome/15.0.874.106" "-" 
192.168.1.178 - - 58565468 [05/Nov/2011:16:17:40 +0800] "GET / HTTP/1.1" 200 3700 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)" "-" 
192.168.1.166 - - 119272312 [05/Nov/2011:16:17:40 +0800] "GET /nginx-logo.png HTTP/1.1" 200 370 "http://192.168.1.201/" "Chrome/15.0.874.106" "-" 
 

PV很简单，大致就是统计某个URL的访问次数，例如统计/index.html的访问次数

复制代码 代码如下:
 
grep "/index.html" /var/log/nginx/access.log –c 

UV呢，我们根据用户标识(第四列) ，首先需要字符串截取，使用cut命令,以空格符号分割，-d “ ”, 再取第四列-f 4，然后这里需要排重，需要使用uniq工具，uniq速度很快，但是基于就近排重，前一个后一个一样会排重，之间间隔了不一样的，就不行了，这就必须使用sort工具来对标识符进行排序，排序后再使用uniq工具就可以达到目的，之间我们用管道符号链接, 最后再用 wc –l 输出统计数

比如我们统计访问了/index.html这也页面的uv:

复制代码 代码如下:

grep "/index.html" /var/log/nginx/access.log | cut –d “ ” –f 4| sort | uniq | wc –l 


独立IP：

假设我们要统计整站的独立IP，那么我们不需要使用 grep来匹配具体页面，只需要使用cat输出即可：

复制代码 代码如下:

cat /var/log/nginx/access.log | cut –d “ ” –f 1 | sort| uniq | wc -l 


都木有使用强大的awk,就完成了基本的统计需求：）

相关文章

  • 详解Shell if else语句的具体使用方法

    详解Shell if else语句的具体使用方法

    这篇文章主要介绍了详解Shell if else语句的具体使用方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-03-03
  • Obsidian斜杠命令用法详解

    Obsidian斜杠命令用法详解

    这篇文章主要介绍了终于定制出顺手的Obsidian斜杠命令,利用斜杠命令 + 命令面板置顶 + Quick Add插入内容 + Quick Add别名命令，就可以根据自己习惯，实现定制化的斜杠命令，需要的朋友可以参考下
    2022-12-12
  • linux echo命令以及linux echo命令提示权限不够的解决办法

    linux echo命令以及linux echo命令提示权限不够的解决办法

    linux的echo命令, 在shell编程中极为常用, 在终端下打印变量value的时候也是常常用到的, 因此有必要了解下echo的用法。下面通过本文给大家介绍linux echo命令以及linux echo命令提示权限不够的解决办法，感兴趣的朋友一起看看吧
    2017-09-09
  • Linux 中C语言getcwd()函数的用法

    Linux 中C语言getcwd()函数的用法

    这篇文章主要介绍了Linux 中C语言getcwd()函数的用法的相关资料,需要的朋友可以参考下
    2017-04-04
  • 详解Linux下find查找文件命令和grep查找文件命令

    详解Linux下find查找文件命令和grep查找文件命令

    在使用linux时，经常需要进行文件查找。其中查找的命令主要有find和grep，两个命令是有区的，今天通过本文给大家介绍下Linux下查找文件（find、grep命令），感兴趣的朋友一起看看吧
    2022-04-04
  • Shell脚本中实现切换用户并执行命令操作

    Shell脚本中实现切换用户并执行命令操作

    这篇文章主要介绍了Shell脚本中实现切换用户并执行命令操作,看了示例代码就秒懂了,原来如此简单,需要的朋友可以参考下
    2014-12-12
  • kill特定进程的shell脚本代码

    kill特定进程的shell脚本代码

    学习 shell kill 特定进程的方法，有暴力的，也有温柔点的，看你的个人喜好了
    2013-02-02
  • shell实现tr删除替换详解

    shell实现tr删除替换详解

    这篇文章主要介绍了shell实现tr删除替换详解,需要的朋友可以参考下
    2014-12-12
  • Shell脚本批量清除Nginx缓存

    Shell脚本批量清除Nginx缓存

    这篇文章主要介绍了Shell脚本批量清除Nginx缓存,本文直接给出实现代码和执行效果图,需要的朋友可以参考下
    2014-12-12
  • 浅谈：linux cron 计划任务常用符号小结

    浅谈：linux cron 计划任务常用符号小结

    本文给大家介绍linux cron计划任务常用符号小结，感兴趣的朋友跟着小编一起学习吧
    2015-10-10

最新评论