Nginx内存缓存的实现示例

你的缓存对象平均大小？
├─ < 10KB → 第三方内存模块（Lua/njs）或 tmpfs
├─ 10KB ~ 1MB → tmpfs（首选）或 proxy_cache + 大keys_zone
└─ > 1MB → proxy_cache + 大keys_zone + SSD（内存放不下全量）
你的QPS和延迟要求？
├─ QPS < 1万 & P99 < 10ms → tmpfs足够
├─ QPS > 5万 & P99 < 2ms → tmpfs + 多worker绑定NUMA
└─ 需要持久化 + 内存速度 → proxy_cache + keys_zone + tmpfs混合

# 创建挂载点
mkdir -p /var/cache/nginx/memory
# 挂载tmpfs，限制最大使用内存为8GB
mount -t tmpfs -o size=8G,noatime,nodiratime tmpfs /var/cache/nginx/memory
# 写入fstab实现开机自动挂载
echo "tmpfs /var/cache/nginx/memory tmpfs size=8G,noatime,nodiratime 0 0" >> /etc/fstab

http {
    proxy_cache_path /var/cache/nginx/memory
                     levels=1:2
                     keys_zone=mem_cache:100m      # 索引仍在内存
                     max_size=7g                   # ⭐ 必须小于tmpfs size
                     inactive=1h                   # 内存寸土寸金，缩短inactive
                     use_temp_path=off;            # 避免临时文件拷贝
    server {
        listen 80;
        location /api/ {
            proxy_cache mem_cache;
            proxy_cache_key "$scheme$request_method$host$request_uri";
            proxy_cache_valid 200 10m;             # 内存缓存TTL宜短
            proxy_cache_lock on;
            proxy_cache_use_stale error timeout updating;
            add_header X-Cache-Status $upstream_cache_status always;
            add_header X-Cache-Backend "memory" always;
            proxy_pass http://backend;
        }
    }
}

# 查看tmpfs实际使用量
df -h /var/cache/nginx/memory
# Prometheus node_exporter自动采集mountpoint指标
# grafana面板添加: node_filesystem_avail_bytes{mountpoint="/var/cache/nginx/memory"}

# 查看NUMA拓扑
numactl --hardware

# 在指定NUMA节点上分配tmpfs
numactl --membind=1 mount -t tmpfs -o size=4G tmpfs /var/cache/nginx/memory-numa1

# systemd service: nginx-cache-warmup.service
[Unit]
After=nginx.service
[Service]
ExecStart=/opt/scripts/warmup-cache.sh
Type=oneshot

# 热数据走内存
location /api/hot/ {
    proxy_cache mem_cache;
    proxy_cache_valid 200 5m;
}
# 温数据走SSD
location /api/ {
    proxy_cache disk_cache;
    proxy_cache_valid 200 1h;
}

# 经验公式：每1MB keys_zone ≈ 8000个缓存条目
# 100万条目需要约125MB
proxy_cache_path /var/cache/nginx/ssd
                 keys_zone=disk_cache:200m    # 支撑160万条目
                 max_size=500g
                 inactive=24h;

# 在日志中添加缓存状态细节
log_format cache_detail '$upstream_cache_status $request_time '
                        '$upstream_response_time $body_bytes_sent';

lua_shared_dict api_config 10m;
server {
    location /config {
        content_by_lua_block {
            local config = ngx.shared.api_config
            local val, err = config:get("feature_flag")
            if not val then
                -- 回源加载并缓存60秒
                local res = ngx.location.capture("/internal/config")
                config:set("feature_flag", res.body, 60)
                val = res.body
            end
            ngx.say(val)
        }
    }
}