MongoDB存储引擎、索引-白红宇

MongoDB存储引擎、索引

阅读量：6036 次

发布时间：2019-06-20

本文共 3911 字，大约阅读时间需要 13 分钟。

wiredTiger

MongoDB从3.0开始引入可插拔存储引擎的概念。目前主要有MMAPV1、WiredTiger存储引擎可供选择。在3.2版本之前MMAPV1是默认的存储引擎,其采用linux操作系统内存映射技术,但一直饱受诟病；3.4以上版本默认的存储引擎是wiredTiger,相对于MMAPV1其有如下优势:

 读写操作性能更好,WiredTiger能更好的发挥多核系统的处理能力；

 MMAPV1引擎使用表级锁,当某个单表上有并发的操作,吞吐将受到限制。WiredTiger使用文档级锁,由此带来并发及吞吐的提高

 相比MMAPV1存储索引时WiredTiger使用前缀压缩,更节省对内存空间的损耗；

 提供压缩算法,可以大大降低对硬盘资源的消耗,节省约60%以上的硬盘资源；

mongodb数据会丢失？你需要了解WT写入的原理

Journaling类似于关系数据库中的事务日志。Journaling能够使MongoDB数据库由于意外故障后快速恢复。MongoDB2.4版本后默认开启了Journaling日志功能,mongod实例每次启动时都会检查journal日志文件看是否需要恢复。由于提交journal日志会产生写入阻塞,所以它对写入的操作有性能影响,但对于读没有影响。在生产环境中开启Journaling是很有必要的。

写策略解析

配置文件

storage:    journal:        enabled: true    dbPath: /data/zhou/mongo1/    ##是否一个库一个文件夹    directoryPerDB: true    ##数据引擎    engine: wiredTiger    ##WT引擎配置    WiredTiger:        engineConfig:            ##WT最大使用cache（根据服务器实际情况调节）            cacheSizeGB: 1            ##是否将索引也按数据库名单独存储            directoryForIndexes: true            journalCompressor:none （默认snappy）        ##表压缩配置        collectionConfig:            blockCompressor: zlib (默认snappy,还可选none、zlib)        ##索引配置        indexConfig:            prefixCompression: true

压缩算法 Tips:

性能: none > snappy >zlib

压缩比:zlib > snappy > none

索引命令概要与类型

索引通常能够极大的提高查询的效率,如果没有索引,MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。索引主要用于排序和检索

单键索引

在某一个特定的属性上建立索引,例如:db.users. createIndex({age:-1});

 mongoDB在ID上建立了唯一的单键索引,所以经常会使用id来进行查询；

 在索引字段上进行精确匹配、排序以及范围查找都会使用此索引；

复合索引

在多个特定的属性上建立索引,例如:db.users. createIndex({username:1,age:-1,country:1});

 复合索引键的排序顺序,可以确定该索引是否可以支持排序操作；

 在索引字段上进行精确匹配、排序以及范围查找都会使用此索引,但与索引的顺序有关；

 为了性能考虑,应删除存在与第一个键相同的单键索引

多键索引

在数组的属性上建立索引,例如:db.users. createIndex({favorites.city:1});针对这个数组的任意值

的查询都会定位到这个文档,既多个索引入口或者键值引用同一个文档

哈希索引

不同于传统的B-树索引,哈希索引使用hash函数来创建索引。

例如:db.users. createIndex({username : 'hashed'});

 在索引字段上进行精确匹配,但不支持范围查询,不支持多键hash；

 Hash索引上的入口是均匀分布的,在分片集合中非常有用；

索引语法

MongoDB使用 ensureIndex() 方法来创建索引,ensureIndex()方法基本语法格式如下所示:

db.collection.createIndex(keys, options)

 语法中 Key 值为要创建的索引字段,1为指定按升序创建索引,如果你想按降序来创建索引指定为-1,也可以指定为hashed（哈希索引）。

 语法中options为索引的属性,属性说明见下表；

创建索引

 单键唯一索引:db.users. createIndex({username :1},{unique:true});

 单键唯一稀疏索引:db.users. createIndex({username :1},{unique:true,sparse:true});

 复合唯一稀疏索引:db.users. createIndex({username:1,age:-1},{unique:true,sparse:true});

 创建哈希索引并后台运行:db.users. createIndex({username :'hashed'},{background:true});

删除索引

 根据索引名字删除某一个指定索引:db.users.dropIndex("username_1");

 删除某集合上所有索引:db.users.dropIndexs();

 重建某集合上所有索引:db.users.reIndex();

 查询集合上所有索引:db.users.getIndexes();

查询优化技巧第一步

找出慢速查询

开启内置的查询分析器,记录读写操作效率:

db.setProfilingLevel(n,{m}),n的取值可选0,1,2；

 0是默认值表示不记录；

 1表示记录慢速操作,如果值为1,m必须赋值单位为ms,用于定义慢速查询时间的阈值；

 2表示记录所有的读写操作；

例如:db.setProfilingLevel(1,300)

查询监控结果

监控结果保存在一个特殊的盖子集合system.profile里,这个集合分配了128kb的空间,要确保监控分析数据不会消耗太多的系统性资源；盖子集合维护了自然的插入顺序,可以使用$natural操作符进行排序,如:db.system.profile.find().sort({'$natural':-1}).limit(5)