“Mongodb 存储引擎笔记”的版本间的差异
来自Dennis的知识库
Dennis zhuang(讨论 | 贡献) (→MMAPv1 引擎) |
Dennis zhuang(讨论 | 贡献) (→MMAPv1 配置项目) |
||
第21行: | 第21行: | ||
=== MMAPv1 配置项目 === | === MMAPv1 配置项目 === | ||
+ | |||
+ | <code> | ||
+ | |||
+ | storage: | ||
+ | mmapv1: | ||
+ | preallocDataFiles: 默认false,是否预分配文件 | ||
+ | nsSize: 默认16mb, namespace 文件(.ns结尾)的默认大小,每个collection和index作为一个 namespace, 16MB 可以容纳 24000 个 namespace。 | ||
+ | quota: | ||
+ | enforced: 默认false,是否限制单个 db 的最大数据文件数目,如果设置了,最大为8个个文件,可以通过 maxFilesPerDB 修改 | ||
+ | maxFilesPerDB: 默认8,见 enforced | ||
+ | smallFiles: 默认false,如果设置为 true,将减少数据文件初始大小,并限制最大为 512m,同时减少日志文件从 1g 到 128m。 | ||
+ | journal: | ||
+ | debugFlags: 测试 debug flags | ||
+ | commitIntervalMs: 被 storage.journal.commitIntervalMS 替代,日志落盘间隔,默认是 100ms。 | ||
+ | </code> |
2017年5月23日 (二) 03:31的版本
概述
- 同一个 replica set 可以使用不同的存储引擎。
- 默认 wiredtiger 使用 snappy block compression;zlib 压缩算法,索引使用 prefix compression。
- Starting in 3.4, the WiredTiger internal cache, by default, will use the larger of either: 50% of RAM minus 1 GB, or 256 MB.容器使用需要调整 storage.wiredTiger.engineConfig.cacheSizeGB
- WT 引擎 60秒或者超过 2g 日志数据,写入一次 checkpoint
- WT日志数据写入磁盘,从3.2开始是50毫秒间隔。
- 文档大小统计, totalSize = indexSize + dataSize, 而 storageSize 是实际占用大小,包括未使用的空间。
MMAPv1 引擎
- 使用 mmap() 将文件映射到内存。
- 写数据是 60 秒,写日志是间隔 100 毫秒,通过 storage.syncPeriodSecs 和 storage.journal.commitIntervalMs 修改。
- 文件比数据更大,因为:
- 预分配文件,可以通过 storage.mmapv1.smallFiles 来减少初始文件大小,并限制最大 512m
- oplog.rs 文件,也是预先创建的 capped collection,默认占用 5% 的磁盘空间(64位安装),通常不建议改这个。
- 日志文件
- 空记录,已删除的 collection 和文档都会保留在文件里。mongodb 会复用这些空间的,但是不会归还给 os。为了更有效的使用这些空间,你可以减少碎片,使用 compact 命令。compact 需要额外的 2g 磁盘空间来运行。compact 只是减少文件碎片,但是也不会归还空间给 os,想要归还可以用 repairDatabase 命令。repairDatabase 需要更大的磁盘空间来运行——等于你当前的数据集合大小,加上 2g。归还也可以通过重新同步来,特别是 secondary 成员。
- page faults,发生在写入或者读取,当要写或者读的部分不在内存的时候发生,通常是因为内存不足引起的。分成 soft 和 hard, hard 读磁盘, soft 只是在 os 的文件缓存里移动。
- 在更新的时候,如果文档增大, 文档可能需要在 disk 搬迁,为了减少这种影响, mongodb 使用 padding 对齐技术。对齐是自动的,也不建议手动。
MMAPv1 配置项目
storage:
mmapv1: preallocDataFiles: 默认false,是否预分配文件 nsSize: 默认16mb, namespace 文件(.ns结尾)的默认大小,每个collection和index作为一个 namespace, 16MB 可以容纳 24000 个 namespace。 quota: enforced: 默认false,是否限制单个 db 的最大数据文件数目,如果设置了,最大为8个个文件,可以通过 maxFilesPerDB 修改 maxFilesPerDB: 默认8,见 enforced smallFiles: 默认false,如果设置为 true,将减少数据文件初始大小,并限制最大为 512m,同时减少日志文件从 1g 到 128m。 journal: debugFlags: 测试 debug flags commitIntervalMs: 被 storage.journal.commitIntervalMS 替代,日志落盘间隔,默认是 100ms。