Linux实现智能日志清理的技巧与最佳实践

#!/bin/bash

# ==================================================
# 智能日志清理脚本 v2.0
# 功能：自动删除指定目录下超过 N 天的日志文件
# 作者：DevOps Engineer
# ==================================================

set -euo pipefail  # 严格错误处理

# ----------------------------
# 1. 配置参数（可外部传入）
# ----------------------------
LOG_DIR="${1:-/var/logs}"          # 日志目录（默认 /var/logs）
RETAIN_DAYS="${2:-90}"             # 保留天数（默认 90 天）
DRY_RUN="${3:-false}"              # 是否仅预览（true/false）

# ----------------------------
# 2. 安全校验
# ----------------------------
if [[ ! -d "$LOG_DIR" ]]; then
  echo "❌ 错误：日志目录不存在 - $LOG_DIR" >&2
  exit 1
fi

# 防止误删根目录（常见陷阱！）
case "$LOG_DIR" in
  "/"|"/etc"|"/bin"|"/usr"|"/lib"*)
    echo "❌ 危险操作：禁止清理系统关键目录！" >&2
    exit 1
    ;;
esac

# ----------------------------
# 3. 计算时间阈值（Unix 时间戳）
# ----------------------------
CURRENT_TS=$(date +%s)
THRESHOLD_TS=$((CURRENT_TS - RETAIN_DAYS * 86400))  # 86400 = 24*60*60

echo "📅 当前时间: $(date -d "@$CURRENT_TS" '+%Y-%m-%d %H:%M:%S')"
echo "⏳ 保留阈值: $(date -d "@$THRESHOLD_TS" '+%Y-%m-%d %H:%M:%S') (最近 $RETAIN_DAYS 天)"
echo "📂 扫描目录: $LOG_DIR"
echo "🔍 模式: ${DRY_RUN:+[预览模式] }"

# ----------------------------
# 4. 遍历文件并处理
# ----------------------------
# 使用 find 避免空格问题，且只处理普通文件
while IFS= read -r -d '' file; do
  # 跳过非普通文件（目录、设备等）
  [[ -f "$file" ]] || continue

  # 获取文件修改时间（Unix 时间戳）
  MOD_TS=$(stat -c %Y "$file" 2>/dev/null || echo 0)

  # 跳过无法读取时间的文件
  if [[ $MOD_TS -eq 0 ]]; then
    echo "⚠️  警告：无法获取文件时间 - $file"
    continue
  fi

  # 判断是否过期
  if [[ $MOD_TS -lt $THRESHOLD_TS ]]; then
    if [[ "$DRY_RUN" == "true" ]]; then
      echo "🗑️  [预览] 将删除: $file (修改于 $(date -d "@$MOD_TS" '+%Y-%m-%d'))"
    else
      rm -f "$file"
      echo "✅ 已删除: $file (修改于 $(date -d "@$MOD_TS" '+%Y-%m-%d'))"
    fi
  else
    echo "📌 保留: $file (修改于 $(date -d "@$MOD_TS" '+%Y-%m-%d'))"
  fi

# 使用 null 分隔符安全处理含空格文件名
done < <(find "$LOG_DIR" -type f -print0)

echo "✨ 清理完成！"

while IFS= read -r -d '' file; do ... done < <(find "$LOG_DIR" -type f -print0)

THRESHOLD_TS=$((CURRENT_TS - RETAIN_DAYS * 86400))
if [[ $MOD_TS -lt $THRESHOLD_TS ]]; then ...

# 每天凌晨 2 点执行（保留 90 天）
0 2 * * * /opt/scripts/clean_logs.sh /var/app_logs 90 false >> /var/log/clean_logs.log 2>&1

# /etc/logrotate.d/myapp
/var/app_logs/*.log {
  daily
  rotate 30
  compress
  missingok
  notifempty
}

# 只清理 .log 或 .gz 文件
find "$LOG_DIR" -type f \( -name "*.log" -o -name "*.gz" \) -print0

# 在删除前保留每个服务最新的 5 个日志
ls -t service_*.log | tail -n +6 | xargs rm -f

# 脚本末尾添加
echo "共删除 $deleted_count 个文件，释放 $(du -sh "$LOG_DIR" | cut -f1)" | mail -s "日志清理报告" admin@example.com