MongoDB默认单个文档的最大存储大小为16MB，当业务场景中出现超过该限制的大文档时，直接使用常规插入操作会触发错误，需要采用针对性的存储方案，同时配套适配的聚合查询策略来保证整体性能。
大文档存储的核心方案
方案一：使用GridFS存储
GridFS是MongoDB官方提供的大文件存储规范，适合存储超过16MB的文档、图片、视频等二进制数据。它会将大文件拆分成多个小块，每个小块作为一个单独的文档存储在fs.chunks集合中，文件的元数据则存储在fs.files集合中。
使用GridFS存储大文档的基本操作示例如下，以Node.js环境为例：
const mongoose = require('mongoose');
const fs = require('fs');
const path = require('path');
// 连接MongoDB
mongoose.connect('mongodb://127.0.0.1:27017/test_db');
const conn = mongoose.connection;
conn.once('open', async () => {
// 获取GridFS存储桶
const bucket = new mongoose.mongo.GridFSBucket(conn.db, {
bucketName: 'large_docs' // 自定义存储桶名称
});
// 存储大文档（假设大文档是文本文件，实际可以是任意二进制数据）
const filePath = path.join(__dirname, 'large_doc.txt'); // 超过16MB的大文档文件
const uploadStream = bucket.openUploadStream('large_doc_2024');
const fileStream = fs.createReadStream(filePath);
fileStream.pipe(uploadStream);
uploadStream.on('finish', () => {
console.log('大文档存储完成');
});
// 读取大文档
const downloadStream = bucket.openDownloadStreamByName('large_doc_2024');
const writeStream = fs.createWriteStream(path.join(__dirname, 'downloaded_doc.txt'));
downloadStream.pipe(writeStream);
});
方案二：分片存储大文档
如果大文档是结构化的JSON数据，可以将其拆分为多个关联的子文档，分别存储在多个集合中，通过唯一标识关联。比如一个包含大量历史记录的用户文档，可以将历史记录单独拆到user_history集合，通过user_id关联。
分片存储的示例结构如下：
// 用户基础信息集合 user_base
{
"_id": ObjectId("650a1b2c3d4e5f6a7b8c9d0e"),
"user_id": 10001,
"name": "张三",
"age": 28
}
// 用户历史记录集合 user_history
{
"_id": ObjectId("650a1b2c3d4e5f6a7b8c9d0f"),
"user_id": 10001,
"record_time": ISODate("2024-01-01T00:00:00Z"),
"content": "第一条历史记录内容"
}
大文档的聚合查询优化实践
GridFS存储的大文档查询
GridFS存储的大文档本身不适合直接做聚合运算，通常先获取文件的元数据，再根据业务需求处理。如果需要统计存储的大文档数量、总大小等，可以聚合fs.files集合：
// 统计large_docs存储桶中所有文件的总大小
db.large_docs.files.aggregate([
{
$group: {
_id: null,
total_size: { $sum: "$length" },
file_count: { $sum: 1 }
}
}
]);
分片存储的大文档聚合查询
分片存储的大文档可以通过$lookup关联多个集合进行聚合，优化时需要注意添加合适的索引，避免全集合扫描。
比如需要查询用户及其最近10条历史记录，优化后的聚合示例如下：
// 先给user_history集合的user_id和record_time添加复合索引
db.user_history.createIndex({ user_id: 1, record_time: -1 });
// 聚合查询
db.user_base.aggregate([
{
$match: { user_id: 10001 } // 先过滤基础用户，减少后续关联数据量
},
{
$lookup: {
from: "user_history",
localField: "user_id",
foreignField: "user_id",
as: "history_list"
}
},
{
$project: {
name: 1,
age: 1,
// 只取最近10条历史记录，减少返回数据量
recent_history: { $slice: ["$history_list", 10] }
}
}
]);
实践注意事项
- 优先评估文档是否真的需要超过16MB，尽量通过精简字段、拆分冗余数据避免大文档问题。
- GridFS适合存储二进制大文件，结构化大文档优先选择分片存储方案，查询效率更高。
- 聚合查询时尽量先使用
$match过滤数据，减少参与后续运算的文档数量，同时给关联字段、排序字段添加索引。 - 分片存储时关联字段的类型要保持一致，避免
$lookup关联失败。
MongoDB的16MB文档限制是为了保证单文档操作的性能，遇到大文档场景时，选择合适的存储方案并做好查询优化，才能让数据库稳定支撑业务需求。