MongoDB大规模数据索引创建的性能调优与时间优化全指南

db.orders.createIndex(
  { order_date: 1, customer_id: 1 }, 
  { 
    background: true,
    name: "date_customer_idx",
    maxTimeMS: 3600000 // 1小时超时
  }
)

// 计算索引大小（字节）
indexSize = (avgKeySize + 8) * documentCount

// WiredTiger缓存配置（mongod.conf）
storage:
  wiredTiger:
    engineConfig:
      cacheSizeGB: 64  // 应大于索引大小的1.5倍

db.products.createIndex({ discount: 1 }, { sparse: true })

db.logs.createIndex({ created_at: 1 }, { expireAfterSeconds: 604800 })

db.orders.createIndex(
  { status: 1 }, 
  { partialFilterExpression: { status: { $eq: "shipped" } } }
)

// 不合理的顺序
db.orders.createIndex({ status: 1, order_date: 1 })

// 高选择性字段在前
db.orders.createIndex({ order_date: 1, status: 1 })

// 第一阶段：创建基础索引（最近数据）
db.orders.createIndex(
  { order_date: 1 }, 
  { 
    background: true,
    partialFilterExpression: { order_date: { $gte: ISODate("2023-01-01") } }
  }
)

// 第二阶段：历史数据（分批处理）
for (var year = 2010; year < 2023; year++) {
  var start = new Date(year, 0, 1);
  var end = new Date(year + 1, 0, 1);
  db.orders.createIndex(
    { order_date: 1 }, 
    { 
      background: true,
      partialFilterExpression: { 
        order_date: { $gte: start, $lt: end } 
      }
    }
  );
  sleep(3600000); // 每批次间隔1小时
}

// 1. 在单个分片上创建索引
sh.stopBalancer();
db.adminCommand({ movePrimary: "mydb", to: "shard0000" });
db.mydb.orders.createIndex({ customer_id: 1 }, { background: true });

// 2. 在其他分片上并行创建
db.adminCommand({ movePrimary: "mydb", to: "shard0001" });
// ... 重复操作

// 3. 重新启用平衡器
sh.setBalancerState(true);

// 压缩索引（减少磁盘占用）
db.runCommand({
  compact: "orders",
  paddingFactor: 1,
  indexParallel: true
});

// 重建索引（解决碎片化）
db.orders.reIndex();

// 创建索引后立即执行预热查询
db.orders.find({ order_date: { $gt: ISODate("2023-01-01") } })
          .limit(1000)
          .toArray();

// 查看索引创建状态
db.currentOp({
  "inprog": true,
  "ns": "mydb.orders",
  "desc": "indexing"
})

// 关键字段解读：
// "progress": { "done": 45000000, "total": 100000000 }
// "msg": "Index Build: 45% done"

// 获取索引使用统计
db.orders.aggregate([
  { $indexStats: {} },
  { $match: { name: "date_customer_idx" } }
]).pretty()

// 检查复制延迟
rs.printSecondaryReplicationInfo()

// 同时在多个分片上创建索引
db.getMongo().setReadPref("nearest");
sh.startBalancer();
db.adminCommand({ movePrimary: "mydb", to: "shard0000" });
// 创建索引...

// 在另一个shell中
db.getMongo().setReadPref("nearest");
db.adminCommand({ movePrimary: "mydb", to: "shard0001" });
// 创建索引...

// MongoDB 4.4+ 索引建议
db.orders.explain("allPlansExecution").find({
  order_date: { $gt: ISODate("2023-01-01") },
  status: "shipped"
})

// 临时降低写入关注级别
db.getMongo().setWriteConcern({ w: 1, j: false });

// 索引创建完成后恢复
db.getMongo().setWriteConcern({ w: "majority", j: true });