MongoDB中单对象大小超16M的存储方案

 更新时间:2025年01月26日 10:09:37   作者:yuanpan  
在 MongoDB 中,单个文档的大小限制为 16MB,如果某个对象(文档)的大小超过 16MB该怎么办,所以本文给大家介绍了MongoDB中单对象大小超16M的存储方案,需要的朋友可以参考下

在 MongoDB 中,单个文档的大小限制为 16MB。如果某个对象(文档)的大小超过 16MB,可以通过以下几种方案解决:

1. 使用 GridFS

适用场景:需要存储大文件(如图像、视频、文档等)。

原理

  • MongoDB 的 GridFS 是一种专门用于存储超过 16MB 文件的工具。
  • 它会将大文件分割成多个 chunk(默认大小 255KB),并存储在两个集合中:
    • fs.files:存储文件的元数据(如文件名、大小、类型等)。
    • fs.chunks:存储文件的内容分块。

实现步骤

存储大文件 使用 MongoDB 驱动的 GridFS 工具存储文件。

Python 示例

from pymongo import MongoClient
from gridfs import GridFS
 
client = MongoClient("mongodb://localhost:27017")
db = client.myDatabase
fs = GridFS(db)
 
# 存储文件
with open("large_file.bin", "rb") as f:
    fs.put(f, filename="large_file.bin")

读取大文件

# 读取文件
file_data = fs.get_last_version(filename="large_file.bin")
with open("output.bin", "wb") as f:
    f.write(file_data.read())

2. 将文档拆分为多个小文档

适用场景:文档包含大量嵌套数据,导致总大小超过 16MB。

解决思路

  • 将大文档拆分成多个子文档。
  • 使用字段(如 _id 或 parentId)将这些子文档关联起来。

实现步骤

示例:拆分用户日志记录 原始大文档(超 16MB):

{ "_id": "user1", "logs": [ { "timestamp": "2025-01-01", "action": "login" }, ... ] }

拆分为多个小文档:

// 主文档

{ "_id": "user1", "type": "userMetadata" }

// 子文档

{ "parentId": "user1", "logs": [ { "timestamp": "2025-01-01", "action": "login" }, ... ] }

查询时合并:

db.metadata.find({ _id: "user1" });

db.logs.find({ parentId: "user1" });

3. 使用 BSON 对象数组存储引用

适用场景:需要在文档中存储大量关联对象。

解决思路

  • 将大数组分割到其他集合中,主文档存储引用。

示例

大文档超限前:

{ "_id": "project1", "name": "Big Project", "tasks": [ /* 超大量任务数据 */ ] }

优化后:

// 主文档 
{ "_id": "project1", "name": "Big Project" } 
// 任务文档 
{ "projectId": "project1", "taskId": 1, "taskName": "Task 1", ... }

查询时通过 projectId 关联:

db.projects.find({ _id: "project1" }); db.tasks.find({ projectId: "project1" });

4. 压缩数据

适用场景:文档中包含重复数据或可压缩结构(如 JSON 数据)。

解决思路

  • 在存储之前压缩数据(例如使用 GZIP、Zlib 等)。
  • 查询时解压数据。

示例

Python 实现

import zlib
from pymongo import MongoClient
 
client = MongoClient("mongodb://localhost:27017")
db = client.myDatabase
collection = db.myCollection
 
# 压缩存储
data = {"key": "value" * 10000}
compressed_data = zlib.compress(str(data).encode("utf-8"))
collection.insert_one({"_id": "compressed_doc", "data": compressed_data})
 
# 解压读取
doc = collection.find_one({"_id": "compressed_doc"})
decompressed_data = zlib.decompress(doc["data"]).decode("utf-8")

5. 修改数据结构

适用场景:文档设计冗余或结构不合理。

解决思路

  • 简化嵌套层级。
  • 使用更紧凑的数据类型(如数组代替对象)。

优化前

{ "_id": "order1", "customer": { "id": 1, "name": "John Doe" }, "items": [ { "productId": "p1", "productName": "Product 1", "quantity": 2 } ] }

优化后

{ "_id": "order1", "customerId": 1, "items": [ { "p": "p1", "q": 2 } ] }

6. 使用文件系统或其他存储服务

适用场景:非结构化大数据(如媒体文件、大型JSON)。

解决思路

  • 将大数据存储到文件系统、Amazon S3、Azure Blob 等。
  • 在 MongoDB 中存储文件路径或 URL。

总结

  • 优先选择方案
    1. 使用 GridFS 存储大文件。
    2. 拆分文档 或 分表设计 解决超大文档问题。
    3. 结合压缩或外部存储进一步优化。

以上就是MongoDB中单对象大小超16M的存储方案的详细内容,更多关于MongoDB单对象大小超16M的资料请关注脚本之家其它相关文章!

相关文章

  • MongoDB中4种日志的详细介绍

    MongoDB中4种日志的详细介绍

    这篇文章主要给大家介绍了关于MongoDB中4种日志的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用MongoDB具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-08-08
  • MongoDB条件操作符的具体使用

    MongoDB条件操作符的具体使用

    MongoDB的条件操作符主要分为比较操作符、逻辑操作符、元素操作符、数组操作符、文本搜索操作符等几种类型,本文就详细的介绍一下这几种类型的操作,具有一定的参考价值,感兴趣的可以了解一下
    2023-12-12
  • mac下使用brew 安装mongodb的方法教程

    mac下使用brew 安装mongodb的方法教程

    mac 系统常用的软件安装工具就是 homebrew.那么通过brew怎么安装mongodb呢?下面小编给大家分享mac下使用brew 安装mongodb的方法教程,一起看看吧
    2016-10-10
  • Windows下MongoDB的下载安装、环境配置教程图解

    Windows下MongoDB的下载安装、环境配置教程图解

    这篇文章主要介绍了Windows下MongoDB的下载安装、环境配置教程详解,本文给大家介绍的非常详细,具有一定的参考借鉴价值 ,需要的朋友可以参考下
    2019-06-06
  • SpringBoot系列之MongoDB Aggregations用法详解

    SpringBoot系列之MongoDB Aggregations用法详解

    MongoDB 中使用聚合(Aggregations)来分析数据并从中获取有意义的信息,本文重点给大家介绍SpringBoot系列之MongoDB Aggregations用法,感兴趣的朋友跟随小编一起看看吧
    2022-02-02
  • mongodb driver使用代码详解

    mongodb driver使用代码详解

    MongoDB 是一个基于分布式文件存储的数据库,由 C++ 语言编写,这篇文章主要介绍了mongodb driver使用,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-03-03
  • MongoDB集合中的文档管理

    MongoDB集合中的文档管理

    这篇文章介绍了MongoDB集合中文档的管理方法,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-07-07
  • mongodb数据库的6个安全设置命令

    mongodb数据库的6个安全设置命令

    这篇文章主要介绍了mongodb数据库的6个安全设置命令,如安全模式启动、安全认证、数据读写加锁、解锁等,需要的朋友可以参考下
    2014-05-05
  • Mongodb单字段索引应用详解

    Mongodb单字段索引应用详解

    mongodb支持在文档中的任何一个字段建立单字段索引,包括文档的顶级字段,针对嵌入式文档建立索引或者针对嵌入式文档的某个字段建立索引,本文给大家介绍Mongodb单字段索引的相关知识,感兴趣的朋友一起看看吧
    2024-07-07
  • MongoDB创建和查询视图的方式

    MongoDB创建和查询视图的方式

    本文整理mongodb的官方文档,介绍mongodb的视图创建和查询,在Mongodb中,允许使用两种方式来创建视图,本文结合实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧
    2023-12-12

最新评论