Mongodb 删除集合数据后释放磁盘空间的操作步骤

 更新时间:2023年11月20日 10:35:54   作者:Ethanchen's notes  
Mongodb当集合数据占用比较多,对其进行清理后,集合存储空间下降,但磁盘空间并没释放,对于具有活动更新的集合来说,有一些可重用的空间是正常的,过多的可重用空间通常是删除大量数据的结果,这篇文章主要介绍了Mongodb 删除集合数据后如何释放磁盘空间,需要的朋友可以参考下

删除集合

在Mongodb当集合数据占用比较多,对其进行清理后,集合存储空间下降,但磁盘空间并没释放,对于具有活动更新的集合来说,有一些可重用的空间是正常的。过多的可重用空间通常是删除大量数据的结果。

如果您有许多大量集合需要压缩(或者想要尽可能的释放磁盘空间),请重新同步副本集的次要成员

如果compact最终没有释放足够的空间, 通过初始同步将通过复制另一个成员的数据来重建所有数据文件。

compact 如果您确实决定在生产环境中运行,可以考虑将通过以下方式最大限度地减少影响:

  • 副本集部署(理想情况下至少三个数据承载成员,没有仲裁者)
  • compact 一次在一台辅助设备上运行操作。
  • 配置 secondary 为 hidden 在操作期间,竞争流量将是基本复制。
  • 重新分配主节点。
  • 压缩旧的主数据库。

集合数据如下:

local_rs1:PRIMARY> db.version()
4.4.15
# Primary 
local_rs1:PRIMARY> db.myCompact.count()
500000
local_rs1:PRIMARY> db.runCommand( { collStats: "myCompact" } ).totalSize
20520960
# 11747328 + 8773632 = 20520960
root@ubuntu-x64_01:/data/mongodb/data/test# ls -tl | grep 3518756157035530607 
-rw------- 1 mongodb mongodb 11747328 11月 17 10:53 collection-8--3518756157035530607.wt
-rw------- 1 mongodb mongodb  8773632 11月 17 10:53 index-9--3518756157035530607.wt
# -------------------------------------
# SECONDARY 1
local_rs1:SECONDARY> db.myCompact.count()
500000
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
20492288
# 11661312 + 8830976 = 20492288
root@ubuntu-x64_01:/data/mongodb27018/data/test# ls -lt | grep 7679634562768091767
-rw------- 1 mongodb mongodb 11661312 11月 17 10:53 collection-8-7679634562768091767.wt
-rw------- 1 mongodb mongodb  8830976 11月 17 10:53 index-9-7679634562768091767.wt
# -------------------------------------
# SECONDARY 2 
local_rs1:SECONDARY> db.myCompact.count()
500000
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
20533248
# 11702272 + 8830976 = 20533248
root@ubuntu-x64_01:/data/mongodb27019/data/test# ls -lt | grep 265063963681791421
-rw------- 1 mongodb mongodb 11702272 11月 17 10:53 collection-8-265063963681791421.wt
-rw------- 1 mongodb mongodb  8830976 11月 17 10:53 index-9-265063963681791421.wt

删除集合所有数据,执行 db.collection.deleteMany() 方法。 Compact 操作阻塞行为是特定于版本的。

版本阻止行为
4.4 之前compact 阻止所有读写活动。
4.4compact 阻止这些操作:
db.collection.drop()
db.collection.createIndex()
db.collection.createIndexes()
db.collection.dropIndex()
db.collection.dropIndexes()
collMod
所有其他操作都是允许的。
4.4.17后compact 阻止这些操作:
db.collection.drop()
db.collection.createIndex()
db.collection.createIndexes()
db.collection.dropIndex()
db.collection.dropIndexes()
collMod
所有其他操作都是允许的。
锁定顺序发生变化。

compact 尝试减少集合中数据和索引所需的存储空间,向操作系统释放不需要的磁盘空间。此操作的有效性取决于工作负载,并且无法恢复任何磁盘空间。如果您已从集合中删除大量数据并且不打算替换它,则此命令非常有用。

测试删除 60% (300000/500000)集合数据,如下:

# PRIMARY 
local_rs1:PRIMARY> db.myCompact.find().limit(2)
{ "_id" : ObjectId("6556d1a2ff3d41b00910281b"), "uid" : 0, "username" : "compact0", "create_at" : ISODate("2023-11-17T02:36:18.883Z") }
{ "_id" : ObjectId("6556d1a2ff3d41b00910281c"), "uid" : 1, "username" : "compact1", "create_at" : ISODate("2023-11-17T02:36:18.894Z") }
local_rs1:PRIMARY> db.myCompact.deleteMany({ "uid" : { $lt: 300000 } })
{ "acknowledged" : true, "deletedCount" : 300000 }
local_rs1:PRIMARY> db.myCompact.count()
200000

以上清理数据后,磁盘空间和集合存储大小并没有减小。 如下

# PRIMARY 
local_rs1:PRIMARY> db.myCompact.count()
200000
local_rs1:PRIMARY> db.runCommand( { collStats: "myCompact" } ).totalSize
28233728
root@ubuntu-x64_01:/data/mongodb/data/test# ls -tl | grep 3518756157035530607 
-rw------- 1 mongodb mongodb 15519744 11月 17 11:47 collection-8--3518756157035530607.wt
-rw------- 1 mongodb mongodb 12713984 11月 17 11:47 index-9--3518756157035530607.wt
# ----------------------------
# SECONDARY 1 
local_rs1:SECONDARY> db.myCompact.count()
200000
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
30523392
root@ubuntu-x64_01:/data/mongodb27018/data/test# ls -lt | grep 7679634562768091767
-rw------- 1 mongodb mongodb 16674816 11月 17 13:09 collection-8-7679634562768091767.wt
-rw------- 1 mongodb mongodb 13848576 11月 17 13:09 index-9-7679634562768091767.wt
# ----------------------------
# SECONDARY 2
local_rs1:SECONDARY> db.myCompact.count()
200000
local_rs1:SECONDARY>  db.runCommand( { collStats: "myCompact" } ).totalSize
20516864
root@ubuntu-x64_01:/data/mongodb27019/data/test# ls -tl | grep 265063963681791421
-rw------- 1 mongodb mongodb 11702272 11月 17 13:14 collection-8-265063963681791421.wt
-rw------- 1 mongodb mongodb  8814592 11月 17 13:14 index-9-265063963681791421.wt

Compact 集合

对于副本集, 您可以在存储副本集中的集合和索引上使用 compact ,但是有一些重要的注意事项:

  • 主节点不会将compact命令复制到辅助节点。

  • 您应该尽可能在辅助节点上运行compact。如果您无法在辅助节点上运行compact,请使用 force 选项。

  • 从 MongoDB 4.4.17 开始:

    • compact 运行时辅助节点可以进行复制。

    • 允许读取。

压缩辅助节点。compact 在辅助节点之一上运行。完成后 compact ,依次在剩余的每个辅助节点上重复该操作。

# SECONDARY 1 
local_rs1:SECONDARY> db.myCompact.count()
200000
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
30523392
# 释放空间 23064576 = 22 MB 左右
local_rs1:SECONDARY> db.runCommand( { compact: "myCompact" } )
{
        "bytesFreed" : 23064576,
        "ok" : 1,
        "$clusterTime" : {
                "clusterTime" : Timestamp(1700198786, 1),
                "signature" : {
                        "hash" : BinData(0,"o2RnaYFH8J1pgLaIx2T+iLCkPdY="),
                        "keyId" : NumberLong("7236938018798436354")
                }
        },
        "operationTime" : Timestamp(1700198786, 1)
}
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
7458816
# 4382720 + 3076096 = 7458816
root@ubuntu-x64_01:/data/mongodb27018/data/test# ls -lt | grep 7679634562768091767
-rw------- 1 mongodb mongodb  4382720 11月 17 13:26 collection-8-7679634562768091767.wt
-rw------- 1 mongodb mongodb  3076096 11月 17 13:26 index-9-7679634562768091767.wt

重新分配主节点。要让当前的初选下台并触发选举,请使用该 rs.stepDown()方法。要提名特定辅助节点,请调整成员优先级。

local_rs1:PRIMARY> rs.status()
{
        "set" : "local_rs1",
        "date" : ISODate("2023-11-17T05:41:07.931Z"),
        ........
        "members" : [
                {
                        "_id" : 1,
                        "name" : "192.168.88.11:27018",
                        "health" : 1,
                        "state" : 2,
                        "stateStr" : "SECONDARY",
                        ......
                },
                {
                        "_id" : 3,
                        "name" : "192.168.88.11:27017",
                        "health" : 1,
                        "state" : 1,
                        "stateStr" : "PRIMARY",
                        ......
                },
                {
                        "_id" : 4,
                        "name" : "192.168.88.11:27019",
                        "health" : 1,
                        "state" : 2,
                        "stateStr" : "SECONDARY",
                        ......
                }
        ],
        "ok" : 1,
        "$clusterTime" : {
                "clusterTime" : Timestamp(1700199666, 1),
                "signature" : {
                        "hash" : BinData(0,"a5utef8Cjsp20W8DWtvzsmMn9Wo="),
                        "keyId" : NumberLong("7236938018798436354")
                }
        },
        "operationTime" : Timestamp(1700199666, 1)
}
local_rs1:PRIMARY> rs.stepDown()
{
        "ok" : 1,
        "$clusterTime" : {
                "clusterTime" : Timestamp(1700199726, 1),
                "signature" : {
                        "hash" : BinData(0,"qpsh46gaM9GKg8RMV799tA/o8uw="),
                        "keyId" : NumberLong("7236938018798436354")
                }
        },
        "operationTime" : Timestamp(1700199726, 1)
}

压缩旧的主数据库。下台后,旧的主节点将成为辅助节点。compact 在旧主节点上运行。

local_rs1:SECONDARY> db.myCompact.count()
200000
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
28233728
local_rs1:SECONDARY> db.runCommand( { compact: "myCompact" } )
{
        "bytesFreed" : 18976768,
        "ok" : 1,
        "$clusterTime" : {
                "clusterTime" : Timestamp(1700199986, 1),
                "signature" : {
                        "hash" : BinData(0,"D1zMSrcV9n2Deh/2u1Edw4s2pDk="),
                        "keyId" : NumberLong("7236938018798436354")
                }
        },
        "operationTime" : Timestamp(1700199986, 1)
}
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
9256960
root@ubuntu-x64_01:/data/mongodb/data/test# ls -tl  | grep 3518756157035530607
-rw------- 1 mongodb mongodb  5341184 11月 17 13:46 collection-8--3518756157035530607.wt
-rw------- 1 mongodb mongodb  3915776 11月 17 13:46 index-9--3518756157035530607.wt

分片集群

对于分片集群 ,compact 仅适用于mongod实例。在分片环境中,运行 compact 分别在每个分片上作为维护操作。

注意: 你不能针对一个mongos实例 发出 compact

到此这篇关于Mongodb 删除集合数据后如何释放磁盘空间的文章就介绍到这了,更多相关Mongodb释放磁盘空间内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • springboot + mongodb 通过经纬度坐标匹配平面区域的方法

    springboot + mongodb 通过经纬度坐标匹配平面区域的方法

    这篇文章主要介绍了springboot + mongodb 通过经纬度坐标匹配平面区域的方法,文中通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-10-10
  • MongoDB进阶之动态字段设计详解

    MongoDB进阶之动态字段设计详解

    这篇文章主要给大家介绍了MongoDB进阶之动态字段设计的相关资料,文中介绍的非常详细,对大家具有一定的参考学习价值,需要的朋友们下面跟着小编一起来学习学习吧。
    2017-06-06
  • MongoDB数据库两阶段提交实现事务的方法详解

    MongoDB数据库两阶段提交实现事务的方法详解

    这篇文章主要介绍了MongoDB数据库两阶段提交实现事务的方法,结合实例形式详细分析了MongoDB数据库事务提交、回滚、撤销等操作的原理、实现方法及相关操作注意事项,需要的朋友可以参考下
    2018-08-08
  • MongoDB数据库设置账号密码完整步骤

    MongoDB数据库设置账号密码完整步骤

    MongoDB这工具很好用的,页面美观,设置账号密码也必不可少,下面这篇文章主要给大家介绍了关于MongoDB数据库设置账号密码的完整步骤,文中给出了详细的实例代码,需要的朋友可以参考下
    2023-05-05
  • 关于MongoDB数据库核心概念

    关于MongoDB数据库核心概念

    这篇文章主要介绍了关于MongoDB数据库核心概念,MongoDB由C++语言编写,是一个基于分布式文件存储的开源数据库系统,需要的朋友可以参考下
    2023-04-04
  • 分布式文档存储数据库之MongoDB访问控制的操作方法

    分布式文档存储数据库之MongoDB访问控制的操作方法

    这篇文章主要介绍了分布式文档存储数据库之MongoDB访问控制的操作方法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-11-11
  • Mongodb启动报错完美解决方案:about to fork child process,waiting until server is ready for connections.

    Mongodb启动报错完美解决方案:about to fork child pr

    在使用命令行启动 MongoDB 的时候报错:about to fork child process, waiting until server is ready for connections.forked process: 50411,造成这个报错的原因是 “MongoDB” 服务没有正常的关闭,在终端连接非正常断开后,再次执行 MongoDB 的时候报错
    2023-04-04
  • SpringBoot 集成MongoDB实现文件上传功能

    SpringBoot 集成MongoDB实现文件上传功能

    这篇文章主要介绍了SpringBoot 集成MongoDB实现文件上传,主要通过示例代码记录文件上传的步骤,代码简单易懂,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-04-04
  • CentOS 7系统下SELinux阻止MongoDB启动的问题详解

    CentOS 7系统下SELinux阻止MongoDB启动的问题详解

    这篇文章主要给大家介绍了关于CentOS 7系统下SELinux阻止MongoDB启动问题的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2017-11-11
  • mongodb+php实现简单的增删改查

    mongodb+php实现简单的增删改查

    这篇文章主要介绍了mongodb+php实现简单的增删改查的相关资料,需要的朋友可以参考下
    2016-07-07

最新评论