当前位置:Gxlcms > mysql > mongodb索引使用以及使用explain与profile调优

mongodb索引使用以及使用explain与profile调优

时间:2021-07-01 10:21:17 帮助过:50人阅读

索引是用来加快查询速度的,事物都有双面性的,同时在每次插入、更新和删除操作时都会产生额外的开销。索引有时并不能解决查询慢的问题,一般来说,返回集合中一半以上的结果,全表扫描要比查询索引更高效些。 创建太多索引,会导致插入非常慢,同时还会占用

索引是用来加快查询速度的,事物都有双面性的,同时在每次插入、更新和删除操作时都会产生额外的开销。索引有时并不能解决查询慢的问题,一般来说,返回集合中一半以上的结果,全表扫描要比查询索引更高效些。 创建太多索引,会导致插入非常慢,同时还会占用很大空间。可以通过explain和hint工具来分析。 索引有方向的,倒序还是升序。 每个集合默认的最大索引个数为64个。

1. 查看索引

  1. > db.jiunile_events.getIndexes();
  2. [
  3. {
  4. "v" : 1,
  5. "key" : {
  6. "_id" : 1
  7. },
  8. "ns" : "jiunile_login.jiunile_events",
  9. "name" : "_id_"
  10. },
  11. {
  12. "v" : 1,
  13. "key" : {
  14. "stmp" : -1
  15. },
  16. "ns" : "jiunile_login.jiunile_events",
  17. "name" : "stmp_-1"
  18. },
  19. {
  20. "v" : 1,
  21. "key" : {
  22. "uid" : 1,
  23. "stmp" : -1
  24. },
  25. "ns" : "jiunile_login.jiunile_events",
  26. "name" : "uid_1_stmp_-1"
  27. }
  28. ]

此实例中有三个索引,其中_id是创建表的时候自动创建的索引,不能删除。uid_1_stmp_-1是组合索引。1表示升序,-1表示降序。

2. 创建索引 索引参数有:

  1. option
  2. values
  3. default
  4. backgroud
  5. true/false
  6. false
  7. dropDups
  8. true/false
  9. false
  10. unique
  11. true/false
  12. false
  13. sparse
  14. true/false
  15. false

常规索引创建

  1. > db.jiunile_posts.ensureIndex({pid:1});

当有大量数据时,创建索引会非常耗时,可以指定到后台执行,只需指定“backgroud:true”即可。如

  1. > db.jiunile_posts.ensureIndex({pid:1},{backgroud:true});

3. 嵌入式索引 为内嵌文档的键创建索引与普通的键创建索引并无差异。

  1. > db.jiunile_posts.ensureIndex({"post.date":1})

4. 文档式索引

  1. > db.jiunile_comments.insert({cid:222, properties:{user:'jiunile', email:'jiunile@jiunile.com'}})
  2. > db.jiunile_comments.ensureIndex({properties:1})

5. 组合索引

  1. > db.jiunile_comments.ensureIndex({"properties.user":1,"properties.email":1})

以下的查询将使用到此索引

  1. > db.jiunile_comments.find({"properties.user":'jiunile',"properties.email":'jiunile@jiunile.com'})
  2. > db.jiunile_comments.find({"properties.user":'jiunile'})
  3. > db.jiunile_comments.find().sort({"properties.user":1})

对多个值进行组合索引,查询时,子查询与索引前缀匹配时,才可以使用该组合索引。

6. 唯一索引 只需要在ensureIndex命名中指定"unique:true"即可。

  1. > db.jiunile_posts.ensureIndex({pid:1},{unique:true})

当为已有的集合创建索引,可能有些数据已经有重复了的,那么创建唯一索引将失败。可以使用dropDups来保留第一个文档,而后的重复文档将删除,这种方法慎重操作。

  1. > db.jiunile_posts.ensureIndex({pid:1},{unique:true, dropDups:true})

7. 强制索引 hint命令可以强制使用某个索引

  1. > db.jiunile_posts.find({pid:{$lt:333}}).hint({pid:1,date:1})

8. 删除索引 删除集合所有索引:

  1. > db.collection.dropIndexes()

删除集合某个索引:

  1. > db.collection.dropIndex({x:1})

9. 重建索引

  1. > db.collection.reIndex()
  2. > db.runCommand({reIndex:'collection'})

重建索引会锁住集合的。用repair命令修复数据库时,会重建索引的。

10. 全文索引 mongodb全文索引是在2.4版本引入的,后面再说这个。

11. explain执行计划 使用explain命令返回查询使用的索引情况,耗时,扫描文档数等等统计信息。

  1. > db.jiunile_events.find({uid:178620830}).explain()
  2. {
  3. "cursor" : "BtreeCursor uid_1_stmp_-1",
  4. "isMultiKey" : false,
  5. "n" : 2,
  6. "nscannedObjects" : 2,
  7. "nscanned" : 2,
  8. "nscannedObjectsAllPlans" : 2,
  9. "nscannedAllPlans" : 2,
  10. "scanAndOrder" : false,
  11. "indexOnly" : false,
  12. "nYields" : 0,
  13. "nChunkSkips" : 0,
  14. "millis" : 4,
  15. "indexBounds" : {
  16. "uid" : [
  17. [
  18. 178620830,
  19. 178620830
  20. ]
  21. ],
  22. "stmp" : [
  23. [
  24. {
  25. "$maxElement" : 1
  26. },
  27. {
  28. "$minElement" : 1
  29. }
  30. ]
  31. ]
  32. },
  33. "server" : "jiunile-191155:27017"
  34. }

字段说明:

  1. cursor:返回游标类型
  2. isMultiKey:是否使用组合索引
  3. n:返回文档数量
  4. nscannedObjects:被扫描的文档数量
  5. nscanned:被检查的文档或索引条目数量
  6. scanAndOrder:是否在内存中排序
  7. indexOnly:
  8. nYields:该查询为了等待写操作执行等待的读锁的次数
  9. nChunkSkips:
  10. millis:耗时(毫秒)
  11. indexBounds:所使用的索引
  12. server: 服务器主机名

12. 开启profiling功能 查看profiling级别:

  1. > db.getProfilingLevel()
  2. 0

设置profiling级别:

  1. > db.setProfilingLevel( level , slowms )
  2. > db.setProfilingLevel(2,10)
  3. { "was" : 0, "slowms" : 100, "ok" : 1 }

profile的级别可以取0,1,2 表示的意义如下:

0 – 不开启 默认级别

1 – 记录慢命令 (默认为>100ms)

2 – 记录所有命令

13. 查询profiling记录 MongoDB Profile 记录是直接存在系统 db 里的,记录位置system.profile 。

  1. > db.system.profile.find().sort({$natural:-1}).limit(1)
  2. { "ts" : ISODate("2013-07-18T09:56:59.546Z"), "op" : "query", "ns" : "jiunile_event.jiunile_events", "query" : { "$query" : { "uid" : 161484152, "stmp" : { "$gt" : 0 } }, "$orderby" : { "stmp" : -1 } }, "ntoreturn" : 0, "ntoskip" : 0, "nscanned" : 35, "keyUpdates" : 0, "numYield" : 0, "lockStats" : { "timeLockedMicros" : { "r" : NumberLong(354), "w" : NumberLong(0) }, "timeAcquiringMicros" : { "r" : NumberLong(3), "w" : NumberLong(3) } }, "nreturned" : 35, "responseLength" : 7227, "millis" : 0, "client" : "10.1.242.209", "user" : "" }
  3. > db.system.profile.find().pretty().limit(1)
  4. {
  5. "ts" : ISODate("2013-07-18T09:53:40.103Z"),
  6. "op" : "query",
  7. "ns" : "jiunile_event.jiunile_event_friends",
  8. "query" : {
  9. "_id" : 195794232
  10. },
  11. "ntoreturn" : 1,
  12. "idhack" : true,
  13. "keyUpdates" : 0,
  14. "numYield" : 0,
  15. "lockStats" : {
  16. "timeLockedMicros" : {
  17. "r" : NumberLong(45),
  18. "w" : NumberLong(0)
  19. },
  20. "timeAcquiringMicros" : {
  21. "r" : NumberLong(3),
  22. "w" : NumberLong(5)
  23. }
  24. },
  25. "responseLength" : 20,
  26. "millis" : 0,
  27. "client" : "10.1.22.199",
  28. "user" : ""
  29. }

字段说明:

  1. ts: 该命令在何时执行
  2. op: 操作类型
  3. query: 本命令的详细信息
  4. responseLength: 返回结果集的大小
  5. ntoreturn: 本次查询实际返回的结果集
  6. millis: 该命令执行耗时,以毫秒记

14. 修改profiling大小 capped Collections 比普通Collections 的读写效率高。Capped Collections 是高效率的Collection类型,它有如下特点:

a. 固定大小;Capped Collections 必须事先创建,并设置大小:

  1. > db.createCollection("collection", {capped:true, size:100000})

b. Capped Collections 可以insert 和update 操作,不能delete 操作。只能用drop()方法删除整个Collection。

c. 默认基于Insert 的次序排序的。如果查询时没有排序,则总是按照insert 的顺序返回。

d. FIFO。如果超过了Collection 的限定大小,则用FIFO 算法,新记录将替代最先insert的记录

  1. > db.setProfilingLevel(0)
  2. { "was" : 2, "slowms" : 10, "ok" : 1 }
  3. >
  4. > db.getProfilingLevel()
  5. 0
  6. > db.system.profile.drop()
  7. true
  8. > db.createCollection("system.profile",{capped:true, size: 1000000})
  9. { "ok" : 1 }
  10. > db.system.profile.stats()
  11. {
  12. "ns" : "jiunile_event.system.profile",
  13. "count" : 0,
  14. "size" : 0,
  15. "storageSize" : 1003520,
  16. "numExtents" : 1,
  17. "nindexes" : 0,
  18. "lastExtentSize" : 1003520,
  19. "paddingFactor" : 1,
  20. "systemFlags" : 0,
  21. "userFlags" : 0,
  22. "totalIndexSize" : 0,
  23. "indexSizes" : {
  24. },
  25. "capped" : true,
  26. "max" : 2147483647,
  27. "ok" : 1
  28. }

来源:http://www.ttlsa.com/html/1661.html

索引是用来加快查询速度的,事物都有双面性的,同时在每次插入、更新和删除操作时都会产生额外的开销。索引有时并不能解决查询慢的问题,一般来说,返回集合中一半以上的结果,全表扫描要比查询索引更高效些。 创建太多索引,会导致插入非常慢,同时还会占用很大空间。可以通过explain和hint工具来分析。 索引有方向的,倒序还是升序。 每个集合默认的最大索引个数为64个。 1. 查看索引 此实例中有三个索引,其中_id是创建表的时候自动创建的索引,不能删除。uid_1_stmp_-1是组合索引。1表示升序,-1表示降序。 2. 创建索引 索引参数有: 常规索引创建 当有大量数据时,创建索引会非常耗时,可以指定到后台执行,只需指定“backgroud:true”即可。如 3. 嵌入式索引 为内嵌文档的键创建索引与普通的键创建索引并无差异。 4. 文档式索引 5. 组合索引 以下的查询将使用到此索引 对多个值进行组合索引,查询时,子查询与索引前缀匹配时,才可以使用该组合索引。 6. 唯一索引 只需要在ensureIndex命名中指定"unique:true"即可。 当为已有的集合创建索引,可能有些数据已经有重复了的,那么创建唯一索引将失败。可以使用dropDups来保留第一个文档,而后的重复文档将删除,这种方法慎重操作。 7. 强制索引 hint命令可以强制使用某个索引 8. 删除索引 删除集合所有索引: 删除集合某个索引: 9. 重建索引 重建索引会锁住集合的。用repair命令修复数据库时,会重建索引的。 10. 全文索引 mongodb全文索引是在2.4版本引入的,后面再说这个。 11. explain执行计划 使用explain命令返回查询使用的索引情况,耗时,扫描文档数等等统计信息。 字段说明: 12. 开启profiling功能 查看profiling级别: 设置profiling级别: profile的级别可以取0,1,2 表示的意义如下: 0 – 不开启 默认级别 1 – 记录慢命令 [...]

人气教程排行