Linux使用crontab实现定时拆分日志与清理过期文件

 更新时间:2024年04月09日 08:46:15   作者:南国以南i  
crontab是一个用于管理定时任务的工具,可以让在特定的时间间隔内自动运行脚本或命令,本文将使用crontab实现定时拆分日志与清理过期文件,需要的可以参考下

简介

在Linux中可以使用crontab来定时执行脚本。crontab是一个用于管理定时任务的工具,可以让在特定的时间间隔内自动运行脚本或命令。

需求: 在Linux中每分钟写入一条信息到指定文件中,使用cron来定期执行一个写入命令或脚本

在Linux中,定时执行脚本具有多种作用和用途,包括但不限于以下几个方面:

自动化任务:定时执行脚本可用于自动化重复性的任务。例如,定时备份数据、定时清理临时文件、定时运行系统维护任务等。通过将这些任务脚本定期执行,可以减轻管理员的工作负担,并确保任务按计划执行,提高系统的可靠性和稳定性。

监控和报告:定时执行脚本可用于监控系统状态、资源使用情况和日志文件,并生成相应的报告。例如,定时检查服务器的CPU使用率、磁盘空间占用情况、网络连接状态等,并将报告发送给管理员或其他相关人员。这样可以帮助及时发现问题并采取适当的措施。

数据处理和分析:定时执行脚本可用于处理和分析数据。例如,定期从外部数据源获取数据,并将其导入到数据库中进行进一步处理和分析。这对于数据采集、数据清洗、数据转换和数据分析等任务非常有用。

定时提醒和通知:定时执行脚本可用于生成提醒和通知。例如,定时发送电子邮件或短信提醒,以及生成日程安排或事件提醒。这对于个人、团队或组织来管理任务、安排会议或发送重要通知非常有帮助。

自定义批处理任务:定时执行脚本可用于运行自定义的批处理任务。根据特定的需求和工作流程,你可以编写脚本来执行一系列操作,如文件处理、数据转换、编译构建等。通过定时运行这些脚本,可以简化复杂的工作流程并提高工作效率。

总之,定时执行脚本在Linux系统中具有广泛的应用。通过利用定时任务,可以实现自动化、监控、报告、数据处理等各种任务,从而提高系统的可靠性、效率和管理效果

一、准备工作

1.1 创建写入脚本

注意:首先,在home目录下创建一个名为testscript.sh的脚本文件,并添加以下内容:

 #!/bin/bash
echo "This is a log message $(date)" > /home/out.log

在这个示例中,脚本会将一条带有当前日期和时间的日志消息附加到指定的日志文件中。确保将/home/out.log替换为实际的日志文件路径。

保存并关闭文件。

1.2 设置执行权限

注意:在执行脚本之前,确保为其设置执行权限。在终端中运行以下命令:

chmod 755 /home/testscript.sh

1.3 添加定时任务

crontab表的每一行代表一个定时任务,定时任务语法格式如下:

* * * * * command
 
第一个*表示分钟数(0-59)
第二个*表示小时数(0-23)
第三个*表示一个月中的第几天(1-31)
第四个*表示月份(1-12)
第五个*表示一周中的第几天(0-7,0和7都表示星期日)
command是要执行的命令或脚本

例如,要在每天的凌晨12点执行脚本,添加以下行到cron表中:

我们可以在 Crontab的命令中添加重定向符号 ">>" 将输出重定向到指定的文件中。例如:

crontab -l # 查看当前是否存在任务
crontab -e # 编辑 指定执行哪个脚本以及执行时间

# 每日凌晨执行脚本
0 0 * * * /home/testscript.sh >> /home/testscript.log 2>&1     

1.4 配置生效

service crond reload    //重新载入配置  前提是crond已经启动

二、Tomcat日志 按每天分割

2.1 创建一个 sh文件

创建脚本

#创建脚本
vim auto-deal-log.sh

脚本内容:

#! /bin/bash
echo "date is `date +%Y-%m-%d,%H:%M:%S`"
echo "tomcat-sca日志分割"
sca_log_path=/home/admin/sca/tomcat-sca/logs
cp $sca_log_path/catalina.out $sca_log_path/catalina.`date +%Y-%m-%d`.log

# 清空tomcat默认日志输出文件
echo "" > $sca_log_path/catalina.out

echo "nginx日志分割"
nginx_log_path=/home/admin/mid/nginx/logs
cp $nginx_log_path/access.log $nginx_log_path/access.`date +%Y-%m-%d`.log
cp $nginx_log_path/error.log $nginx_log_path/error.`date +%Y-%m-%d`.log
echo "" > $nginx_log_path/access.log
echo "" > $nginx_log_path/error.log


# 查找并清理不需要的文件
echo "清理tomcat*,保留30天"
find /home/admin/sca/tomcat*/logs/ -mtime +30 -name "*" -exec rm -rf {} \;
echo "清理batch日志,保留30天"
find /home/admin/sca/log/batch/ -mtime +30 -name "*" -exec rm -rf {} \;
echo "清理xxl-job日志,保留7天"
find /home/admin/sca/log/xxl-job/ -mtime +7 -name "*" -exec rm -rf {} \;
echo "清理auto-split-deal-log日志,保留7天"
find /home/admin/sca/log/auto-split-deal-log/ -mtime +7 -name "*" -exec rm -rf {} \;
echo "清理视频文件,保留5天"
find /home/admin/sca/ccrecord/ -mtime +5 -name "*.wev" -exec rm -rf {} \;
echo "日志分割及清理完毕"

2.2 设置执行权限

chmod +x auto-deal-log.sh

2.3 设置crontab指令,指定每日定时任务

# 每日凌晨执行分割日志脚本
0 0 * * * /opt/sh/auto-deal-log.sh  >> /path/to/auto-deal-log.log 2>&1   

2.4 配置生效

service crond reload    //重新载入配置  前提是crond已经启动

到此这篇关于Linux使用crontab实现定时拆分日志与清理过期文件的文章就介绍到这了,更多相关Linux crontab命令内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Ubuntu Apache配置以及cgi配置方法

    Ubuntu Apache配置以及cgi配置方法

    这篇文章主要介绍了Ubuntu Apache配置以及cgi配置方法,需要的朋友可以参考下
    2015-10-10
  • linux把一个文件的内容复制到另一个文件的末尾

    linux把一个文件的内容复制到另一个文件的末尾

    这篇文章主要介绍了linux把一个文件的内容复制到另一个文件的末尾,文中给大家提到了linux 把文件末尾输出到另一个文件的方法,需要的朋友可以参考下
    2019-08-08
  • Linux下进程的CPU配置与线程绑定过程

    Linux下进程的CPU配置与线程绑定过程

    本文介绍Linux系统中基于进程和线程的CPU配置方法,通过taskset命令和pthread库调整亲和力,将进程/线程绑定到特定CPU核心以优化资源分配,提升系统性能与实时任务响应效率,同时强调操作验证及注意事项
    2025-07-07
  • 本地与linux互传文件的方式详解

    本地与linux互传文件的方式详解

    实现本地与Linux服务器文件互传的常用方式:scp命令、sftp命令、lrzsz程序,xftp软件,下面就跟随小编一起来学习一下如何具体操作的吧
    2023-08-08
  • 在Ubuntu中使用NTP实现时间同步

    在Ubuntu中使用NTP实现时间同步

    这篇文章主要介绍了在Ubuntu中使用NTP实现时间同步,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-09-09
  • linux下安装boost库的完整步骤记录

    linux下安装boost库的完整步骤记录

    Boost库是一个经过千锤百炼、可移植、提供源代码的C++库,,作为标准库的后备,是C++标准化进程的发动机之一,下面这篇文章主要给大家介绍了关于如何在linux下安装boost库的完整步骤,需要的朋友可以参考下
    2018-11-11
  • OneinStack一键安装PHP/JAVA/HHVM和超详细的VPS手动安装LNMP的方法

    OneinStack一键安装PHP/JAVA/HHVM和超详细的VPS手动安装LNMP的方法

    OneinStack一键工具提供多个Tomcat版本(Tomcat-8,Tomcat-7) 和多个JDK版本(JDK-1.8,JDK-1.7,JDK-1.6),支持CentOS 6、7下HHVM安装。如果还有为无法成功配置好Java或者HHVM环境而烦恼的话,OneinStack就可以助你一臂之力
    2017-07-07
  • CentOS7更换YUM源为国内源的操作步骤

    CentOS7更换YUM源为国内源的操作步骤

    由于CentOS7默认的yum源是国外的,导致我们使用yum下载软件的下载速度不是很理想,这时候我们就需要将yum源更换成国内的源,所以 本文指导CentOS7更换国内YUM源(阿里云、清华等)以提升下载速度,需要的朋友可以参考下
    2025-05-05
  • Linux系统安装并配置jdk1.8全过程

    Linux系统安装并配置jdk1.8全过程

    总结:文章介绍了如何在服务器上安装和配置JDK的步骤,包括上传JDK、解压、设置权限、配置环境变量以及验证安装
    2025-11-11
  • Linux中查看端口占用的方法对比:netstat、ss、lsof谁更好用?

    Linux中查看端口占用的方法对比:netstat、ss、lsof谁更好用?

    本文介绍了Linux中查看端口占用的三种常用工具的使用,其中ss、netstat和lsof,ss是推荐首选工具,命令简洁高效,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下
    2026-06-06

最新评论