了解MongoDB聚合性能

我正在运行标准的MongoDB的Homebrew安装，版本2.4.6，并且我有一个名为'items'的集合的数据库，其中有600k个文档。了解MongoDB聚合性能

我写了下面的查询来查找五大品牌为项目的集合：

db.items.aggregate([ 
    { $group: { _id: '$brand', size: { $sum: 1}}}, 
    { $sort: {"size": -1}}, 
    { $limit: 5} 
])

返回结果我预期，但坦率地说，花费更长的时间比我完成曾经会想象。下面是配置文件数据：

{ 
    "op" : "command", 
    "ns" : "insights-development.$cmd", 
    "command" : { 
      "aggregate" : "items", 
      "pipeline" : [ 
        { 
          "$group" : { 
            "_id" : "$brand", 
            "size" : { 
              "$sum" : 1 
            } 
          } 
        }, 
        { 
          "$sort" : { 
            "size" : -1 
          } 
        }, 
        { 
          "$limit" : 5 
        } 
      ] 
    }, 
    "ntoreturn" : 1, 
    "keyUpdates" : 0, 
    "numYield" : 3, 
    "lockStats" : { 
      "timeLockedMicros" : { 
        "r" : NumberLong(3581974), 
        "w" : NumberLong(0) 
      }, 
      "timeAcquiringMicros" : { 
        "r" : NumberLong(1314151), 
        "w" : NumberLong(10) 
      } 
    }, 
    "responseLength" : 267, 
    "millis" : 2275, 
    "ts" : ISODate("2013-11-23T18:16:33.886Z"), 
    "client" : "127.0.0.1", 
    "allUsers" : [ ], 
    "user" : "" 
}

这里是db.items.stats()的ouptut：

{ 
    "sharded" : false, 
    "primary" : "a59aff30810b066bbe31d1fae79596af", 
    "ns" : "insights-development.items", 
    "count" : 640590, 
    "size" : 454491840, 
    "avgObjSize" : 709.4894394230319, 
    "storageSize" : 576061440, 
    "numExtents" : 14, 
    "nindexes" : 10, 
    "lastExtentSize" : 156225536, 
    "paddingFactor" : 1, 
    "systemFlags" : 1, 
    "userFlags" : 0, 
    "totalIndexSize" : 165923744, 
    "indexSizes" : { 
      "_id_" : 17889088, 
      "demographic_1" : 14741328, 
      "brand_1" : 17946320, 
      "retailer_1" : 18690336, 
      "color_1" : 15738800, 
      "style_1" : 18951968, 
      "classification_1" : 15019312, 
      "placement_1" : 19107312, 
      "state_1" : 12394816, 
      "gender_1" : 15444464 
    }, 
    "ok" : 1 
}

我是相当新的MongoDB的，所以我希望有人能指出为什么这种聚集需要很长时间运行，如果有什么我可以做的，以加速它，因为在我看来，600k不是更多的Mongo来运行计算的文档。

来源

2013-11-23 TheDelChop

你有几个独特的品牌？ – WiredPrairie

@WiredPrairie〜26k独特品牌。 – TheDelChop

db.serverStatus在这里没有用，db.items.stats（）怎么样？ –

如果您有“品牌”字段的索引，那么在管道的开头处添加{$sort:{brand:1}}可能有助于提高性能。您目前看不到良好表现的原因可能是由于需要按品牌对每个文档进行扫描。如果有索引，那么它可能只用于扫描索引而不是所有的文档。排序（使用索引）可以加快分组的速度，在某些情况下，按分组字段排序的结果是有益的。

如果您在brand上创建了索引，但没有看到任何改进，请在删除索引之前尝试添加$sort。如果碰巧你已经有一个索引brand是第一个字段，那么你不需要在brand上添加另一个索引 - 复合索引将被自动使用。

来源

2013-11-23 22:42:06

了解MongoDB聚合性能

回答

相关问题