Linux在服务器多节点下面实现快速查找日志

Linux在服务器多节点下查找日志

最近在查找一个核心服务的后台日志，发现竟然部署了十几个节点，而且没使用ELK来做日志处理，所以查找日志非常不方便，不可能一个服务节点一个服务地找，所以通过同事间互相沟通找到一个方法，通过 $(find …)加上grep关键字来实现多节点日志模糊查找

日志部署

多节点的日志归档，是按照日期进行归类，在对应日期文件夹下面，是多个服务器节点的归类目录，在节点目录下面是业务模块命名的文件夹

举个例子：

/2024-10-17/server01-192.168.0.1/portal/catalina.out.2024-10-17
/2024-10-17/server02-192.168.0.2/portal/catalina.out.2024-10-17
/2024-10-17/server03-192.168.0.3/portal/catalina.out.2024-10-17

所以节点少，还可以一个节点一个节点查找，节点多就需要通过一条命令来查找，先cd到日期命名的目录，然后通过一条命令进行全量扫描

grep "关键字" $(find ./ -type f -name catalina.out.2024-10-17|grep portal)

Linux查看日志的几种方法

最常用查看日志方法

• 实时日志：tail -f XXX.log
• 搜索关键字附近日志：cat -n XXX.log | grep "关键字"

查看日志常用命令

tail：

-n  是显示行号；相当于nl命令；

例子如下：

• tail -100f test.log      实时监控100行日志
• tail  -n  10  test.log   查询日志尾部最后10行的日志;
• tail -n +10 test.log    查询10行之后的所有日志;

head：

跟tail是相反的，tail是看后多少行日志，而head是查看日志文件的头多少行，例子如下：

•  head -n 10  test.log   查询日志文件中的头10行日志;
• head -n -10  test.log   查询日志文件除了最后10行的其他所有日志;

cat： 

• tac是倒序查看，是cat单词反写；例子如下：
• cat -n test.log |grep "debug"   查询关键字的日志(常用！~)

vim：

• 1、进入vim编辑模式：vim filename
• 2、输入“/关键字”,按enter键查找
• 3、查找下一个，按“n”即可
• 退出：按ESC键后，接着再输入:号时，vi会在屏幕的最下方等待我们输入命令
• wq! 保存退出
• q! 不保存退出 

常见的应用场景

查看日志应用场景一：按行号查看：过滤出关键字附近的日志

(1) cat -n test.log |grep "debug"  得到关键日志的行号

(2) cat -n test.log |tail -n +92|head -n 20  选择关键字所在的中间一行. 然后查看这个关键字前10行和后10行的日志:

• tail -n +92表示查询92行之后的日志
• head -n 20 则表示在前面的查询结果里再查前20条记录

查看日志应用场景二：根据日期查询日志

(1) sed -n '/2014-12-17 16:17:20/,/2014-12-17 16:17:36/p'  test.log

特别说明：

• 上面的两个日期必须是日志中打印出来的日志,否则无效
• 先 grep '2014-12-17 16:17:20' test.log 来确定日志中是否有该时间点
• 查看日志应用场景三：日志内容特别多，打印在屏幕上不方便查看，分页/保存文件查看

(1)使用more和less命令,

如： cat -n test.log |grep "debug" |more     这样就分页打印了,通过点击空格键翻页

(2)使用 >xxx.txt 将其保存到文件中,到时可以拉下这个文件分析

如：cat -n test.log |grep "debug"  >debug.txt

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

最新评论