Linux使用crontab实现定时拆分日志与清理过期文件

 更新时间:2024年04月09日 08:46:15   作者:南国以南i  
crontab是一个用于管理定时任务的工具,可以让在特定的时间间隔内自动运行脚本或命令,本文将使用crontab实现定时拆分日志与清理过期文件,需要的可以参考下

简介

在Linux中可以使用crontab来定时执行脚本。crontab是一个用于管理定时任务的工具,可以让在特定的时间间隔内自动运行脚本或命令。

需求: 在Linux中每分钟写入一条信息到指定文件中,使用cron来定期执行一个写入命令或脚本

在Linux中,定时执行脚本具有多种作用和用途,包括但不限于以下几个方面:

自动化任务:定时执行脚本可用于自动化重复性的任务。例如,定时备份数据、定时清理临时文件、定时运行系统维护任务等。通过将这些任务脚本定期执行,可以减轻管理员的工作负担,并确保任务按计划执行,提高系统的可靠性和稳定性。

监控和报告:定时执行脚本可用于监控系统状态、资源使用情况和日志文件,并生成相应的报告。例如,定时检查服务器的CPU使用率、磁盘空间占用情况、网络连接状态等,并将报告发送给管理员或其他相关人员。这样可以帮助及时发现问题并采取适当的措施。

数据处理和分析:定时执行脚本可用于处理和分析数据。例如,定期从外部数据源获取数据,并将其导入到数据库中进行进一步处理和分析。这对于数据采集、数据清洗、数据转换和数据分析等任务非常有用。

定时提醒和通知:定时执行脚本可用于生成提醒和通知。例如,定时发送电子邮件或短信提醒,以及生成日程安排或事件提醒。这对于个人、团队或组织来管理任务、安排会议或发送重要通知非常有帮助。

自定义批处理任务:定时执行脚本可用于运行自定义的批处理任务。根据特定的需求和工作流程,你可以编写脚本来执行一系列操作,如文件处理、数据转换、编译构建等。通过定时运行这些脚本,可以简化复杂的工作流程并提高工作效率。

总之,定时执行脚本在Linux系统中具有广泛的应用。通过利用定时任务,可以实现自动化、监控、报告、数据处理等各种任务,从而提高系统的可靠性、效率和管理效果

一、准备工作

1.1 创建写入脚本

注意:首先,在home目录下创建一个名为testscript.sh的脚本文件,并添加以下内容:

 #!/bin/bash
echo "This is a log message $(date)" > /home/out.log

在这个示例中,脚本会将一条带有当前日期和时间的日志消息附加到指定的日志文件中。确保将/home/out.log替换为实际的日志文件路径。

保存并关闭文件。

1.2 设置执行权限

注意:在执行脚本之前,确保为其设置执行权限。在终端中运行以下命令:

chmod 755 /home/testscript.sh

1.3 添加定时任务

crontab表的每一行代表一个定时任务,定时任务语法格式如下:

* * * * * command
 
第一个*表示分钟数(0-59)
第二个*表示小时数(0-23)
第三个*表示一个月中的第几天(1-31)
第四个*表示月份(1-12)
第五个*表示一周中的第几天(0-7,0和7都表示星期日)
command是要执行的命令或脚本

例如,要在每天的凌晨12点执行脚本,添加以下行到cron表中:

我们可以在 Crontab的命令中添加重定向符号 ">>" 将输出重定向到指定的文件中。例如:

crontab -l # 查看当前是否存在任务
crontab -e # 编辑 指定执行哪个脚本以及执行时间

# 每日凌晨执行脚本
0 0 * * * /home/testscript.sh >> /home/testscript.log 2>&1     

1.4 配置生效

service crond reload    //重新载入配置  前提是crond已经启动

二、Tomcat日志 按每天分割

2.1 创建一个 sh文件

创建脚本

#创建脚本
vim auto-deal-log.sh

脚本内容:

#! /bin/bash
echo "date is `date +%Y-%m-%d,%H:%M:%S`"
echo "tomcat-sca日志分割"
sca_log_path=/home/admin/sca/tomcat-sca/logs
cp $sca_log_path/catalina.out $sca_log_path/catalina.`date +%Y-%m-%d`.log

# 清空tomcat默认日志输出文件
echo "" > $sca_log_path/catalina.out

echo "nginx日志分割"
nginx_log_path=/home/admin/mid/nginx/logs
cp $nginx_log_path/access.log $nginx_log_path/access.`date +%Y-%m-%d`.log
cp $nginx_log_path/error.log $nginx_log_path/error.`date +%Y-%m-%d`.log
echo "" > $nginx_log_path/access.log
echo "" > $nginx_log_path/error.log


# 查找并清理不需要的文件
echo "清理tomcat*,保留30天"
find /home/admin/sca/tomcat*/logs/ -mtime +30 -name "*" -exec rm -rf {} \;
echo "清理batch日志,保留30天"
find /home/admin/sca/log/batch/ -mtime +30 -name "*" -exec rm -rf {} \;
echo "清理xxl-job日志,保留7天"
find /home/admin/sca/log/xxl-job/ -mtime +7 -name "*" -exec rm -rf {} \;
echo "清理auto-split-deal-log日志,保留7天"
find /home/admin/sca/log/auto-split-deal-log/ -mtime +7 -name "*" -exec rm -rf {} \;
echo "清理视频文件,保留5天"
find /home/admin/sca/ccrecord/ -mtime +5 -name "*.wev" -exec rm -rf {} \;
echo "日志分割及清理完毕"

2.2 设置执行权限

chmod +x auto-deal-log.sh

2.3 设置crontab指令,指定每日定时任务

# 每日凌晨执行分割日志脚本
0 0 * * * /opt/sh/auto-deal-log.sh  >> /path/to/auto-deal-log.log 2>&1   

2.4 配置生效

service crond reload    //重新载入配置  前提是crond已经启动

到此这篇关于Linux使用crontab实现定时拆分日志与清理过期文件的文章就介绍到这了,更多相关Linux crontab命令内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • .htaccess文件写法之作用范围

    .htaccess文件写法之作用范围

    在htaccess写法详解一文中已经写过了htaccess文件一基本写法和语句原则,同时本文也不再阐述htaccess文件的作用之强大,今天只来讨论一下很多人都容易误解的一个地方,那就是.htaccess文件的作用范围
    2012-02-02
  • linux磁盘管理知识汇总

    linux磁盘管理知识汇总

    这篇文章主要介绍了linux磁盘管理知识汇总的相关资料,需要的朋友可以参考下
    2018-08-08
  • linux驱动开发中常用函数copy_from_user open read write详解

    linux驱动开发中常用函数copy_from_user open read write详解

    本文解说了inux驱动开发函数copy_from_user ,open ,read write几个常用函数,现在一起来学习他们的使用过程吧
    2021-08-08
  • Xshell远程连接linux详细步骤(小白必备)

    Xshell远程连接linux详细步骤(小白必备)

    本文主要介绍了Xshell远程连接linux详细步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-08-08
  • Linux系统配置网络详细介绍

    Linux系统配置网络详细介绍

    大家好,本篇文章主要讲的是Linux系统配置网络详细介绍,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下,方便下次浏览
    2022-01-01
  • Linux环境下python2.7.6升级python3.5.2

    Linux环境下python2.7.6升级python3.5.2

    本篇文章主要介绍了centos7下python2.7.5升级到3.5.2,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-04-04
  • 如何在Linux中修改tomcat端口号

    如何在Linux中修改tomcat端口号

    这篇文章主要介绍了如何在Linux中修改tomcat端口号,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-05-05
  • OneinStack一键安装PHP/JAVA/HHVM和超详细的VPS手动安装LNMP的方法

    OneinStack一键安装PHP/JAVA/HHVM和超详细的VPS手动安装LNMP的方法

    OneinStack一键工具提供多个Tomcat版本(Tomcat-8,Tomcat-7) 和多个JDK版本(JDK-1.8,JDK-1.7,JDK-1.6),支持CentOS 6、7下HHVM安装。如果还有为无法成功配置好Java或者HHVM环境而烦恼的话,OneinStack就可以助你一臂之力
    2017-07-07
  • centos下yum搭建安装linux+apache+mysql+php环境的方法

    centos下yum搭建安装linux+apache+mysql+php环境的方法

    这篇文章主要介绍了centos下yum搭建安装linux+apache+mysql+php环境的方法,本文分步骤给大家介绍的非常详细,具有参考借鉴价值,需要的朋友可以参考下
    2016-10-10
  • smarty实现PHP静态化的两种方法分享

    smarty实现PHP静态化的两种方法分享

    用smarty实现纯静态化的文件发布有两种方法,也就是纯HTML文件生成的方法,包括以下两种方法,需要的朋友可以参考下
    2012-02-02

最新评论