MongoDB中单对象大小超16M的存储方案
更新时间：2025年01月26日 10:09:37 作者：yuanpan
在 MongoDB 中,单个文档的大小限制为 16MB,如果某个对象（文档）的大小超过 16MB该怎么办,所以本文给大家介绍了MongoDB中单对象大小超16M的存储方案,需要的朋友可以参考下
在 MongoDB 中，单个文档的大小限制为 16MB。如果某个对象（文档）的大小超过 16MB，可以通过以下几种方案解决：
1. 使用 GridFS
适用场景：需要存储大文件（如图像、视频、文档等）。
原理
- MongoDB 的 GridFS 是一种专门用于存储超过 16MB 文件的工具。
- 它会将大文件分割成多个 chunk（默认大小 255KB），并存储在两个集合中：
fs.files：存储文件的元数据（如文件名、大小、类型等）。fs.chunks：存储文件的内容分块。
实现步骤
存储大文件 使用 MongoDB 驱动的 GridFS 工具存储文件。
Python 示例：
from pymongo import MongoClient
from gridfs import GridFS
client = MongoClient("mongodb://localhost:27017")
db = client.myDatabase
fs = GridFS(db)
# 存储文件
with open("large_file.bin", "rb") as f:
fs.put(f, filename="large_file.bin")读取大文件
# 读取文件
file_data = fs.get_last_version(filename="large_file.bin")
with open("output.bin", "wb") as f:
f.write(file_data.read())2. 将文档拆分为多个小文档
适用场景：文档包含大量嵌套数据，导致总大小超过 16MB。
解决思路
- 将大文档拆分成多个子文档。
- 使用字段（如
_id或parentId）将这些子文档关联起来。
实现步骤
示例：拆分用户日志记录 原始大文档（超 16MB）：
{ "_id": "user1", "logs": [ { "timestamp": "2025-01-01", "action": "login" }, ... ] }拆分为多个小文档：
// 主文档
{ "_id": "user1", "type": "userMetadata" }
// 子文档
{ "parentId": "user1", "logs": [ { "timestamp": "2025-01-01", "action": "login" }, ... ] }
查询时合并：
db.metadata.find({ _id: "user1" });
db.logs.find({ parentId: "user1" });3. 使用 BSON 对象数组存储引用
适用场景：需要在文档中存储大量关联对象。
解决思路
- 将大数组分割到其他集合中，主文档存储引用。
示例
大文档超限前：
{ "_id": "project1", "name": "Big Project", "tasks": [ /* 超大量任务数据 */ ] }优化后：
// 主文档
{ "_id": "project1", "name": "Big Project" }
// 任务文档
{ "projectId": "project1", "taskId": 1, "taskName": "Task 1", ... }查询时通过 projectId 关联：
db.projects.find({ _id: "project1" }); db.tasks.find({ projectId: "project1" });4. 压缩数据
适用场景：文档中包含重复数据或可压缩结构（如 JSON 数据）。
解决思路
- 在存储之前压缩数据（例如使用 GZIP、Zlib 等）。
- 查询时解压数据。
示例
Python 实现：
import zlib
from pymongo import MongoClient
client = MongoClient("mongodb://localhost:27017")
db = client.myDatabase
collection = db.myCollection
# 压缩存储
data = {"key": "value" * 10000}
compressed_data = zlib.compress(str(data).encode("utf-8"))
collection.insert_one({"_id": "compressed_doc", "data": compressed_data})
# 解压读取
doc = collection.find_one({"_id": "compressed_doc"})
decompressed_data = zlib.decompress(doc["data"]).decode("utf-8")5. 修改数据结构
适用场景：文档设计冗余或结构不合理。
解决思路
- 简化嵌套层级。
- 使用更紧凑的数据类型（如数组代替对象）。
优化前：
{ "_id": "order1", "customer": { "id": 1, "name": "John Doe" }, "items": [ { "productId": "p1", "productName": "Product 1", "quantity": 2 } ] }优化后：
{ "_id": "order1", "customerId": 1, "items": [ { "p": "p1", "q": 2 } ] }6. 使用文件系统或其他存储服务
适用场景：非结构化大数据（如媒体文件、大型JSON）。
解决思路
- 将大数据存储到文件系统、Amazon S3、Azure Blob 等。
- 在 MongoDB 中存储文件路径或 URL。
总结
- 优先选择方案：
- 使用 GridFS 存储大文件。
- 拆分文档 或 分表设计 解决超大文档问题。
- 结合压缩或外部存储进一步优化。
以上就是MongoDB中单对象大小超16M的存储方案的详细内容，更多关于MongoDB单对象大小超16M的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要介绍了MongoDB 数据模型的设计模式,在实际开发中，大多数性能问题都可以追溯到糟糕的模型设计，官方也提供分享过文档模型设计的进阶技巧，这里简单翻译记录一下，需要的朋友可以参考下2022-12-12
这篇文章主要给大家介绍了关于mongodb实现数组对象求和的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-01-01
这篇文章主要介绍了MongoDB中创建索引需要注意的事项,本文讲解了创建索引可能会引发的问题并给出解决方法,需要的朋友可以参考下2015-03-03
这篇文章主要介绍了阿里云服务器部署mongodb的过程，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2021-09-09
这篇文章主要介绍了Linux系统下MongoDB的简单安装与基本操作,需要的朋友可以参考下2015-04-04
本文给大家分享的是使用Java操作MongoDB的一些基本方法，包含多种数据库的连接方式，增删改查等方法，非常的实用，有需要的小伙伴可以参考下2018-01-01
这篇文章主要介绍了Win10 64位安装MongoDB数据库的详细教程，本文图文并茂给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-12-12
大家好，本篇文章主要讲的是Ubuntu环境下mongodb安装配置详细步骤，感兴趣的同学快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览2021-11-11
这篇文章介绍了Centos系统搭建MongoDB数据库的方法，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-04-04
在MongoDB中聚合框架允许用户对数据进行处理和分析,以便进行统计计算、汇总以及更复杂的数据转换,这篇文章主要给大家介绍了关于MongoDB数据库聚合之分组统计$group的用法的相关资料,需要的朋友可以参考下2024-06-06
最新评论