MongoDB中的MapReduce：如预期超过1000条记录

不工作

我写的，其中记录按以下格式发出的MapReduce的功能MongoDB中的MapReduce：如预期超过1000条记录

{userid:<xyz>, {event:adduser, count:1}} 
{userid:<xyz>, {event:login, count:1}} 
{userid:<xyz>, {event:login, count:1}} 
{userid:<abc>, {event:adduser, count:1}}

其中userid是关键，其余都是该键的值。 MapReduce的功能后，我想要得到的结果如下格式

{userid:<xyz>,{events: [{adduser:1},{login:2}], allEventCount:3}}

要达致这我写了下面同时减少在聚合框架和MapReduce功能我知道这可以通过组通过以下方式实现..，但是我们需要类似的功能来处理复杂的情况。所以，我正在采取这种方法。

var reducefn = function(key,values){ 
var result = {allEventCount:0, events:[]}; 
values.forEach(function(value){ 
    var notfound=true; 
    for(var n = 0; n < result.events.length; n++){ 
     eventObj = result.events[n]; 
     for(ev in eventObj){ 
      if(ev==value.event){ 
       result.events[n][ev] += value.allEventCount; 
       notfound=false; 
       break; 
      } 
     } 
    } 
    if(notfound==true){ 
     var newEvent={} 
     newEvent[value.event]=1; 
     result.events.push(newEvent); 
    } 
    result.allEventCount += value.allEventCount; 
}); 
return result;

}

这完美运行，当我运行了1000条记录，当有3K或10K的记录，结果我得到的是这样的

{ "_id" : {...}, "value" :{"allEventCount" :30, "events" :[ { "undefined" : 1}, 
{"adduser" : 1 }, {"remove" : 3 }, {"training" : 1 }, {"adminlogin" : 1 }, 
{"downgrade" : 2 } ]} }

无法理解undefined来自哪里，而且各个事件的和小于allEventCount。集合中的所有文档都有非空字段event，所以不会有未定义的机会。

Mongo DB版本 - 2.2.1 环境 - 本地机器，不分片。

在缩小功能中，当类似操作result.allEventCount += value.allEventCount;通过时，为什么此操作失败result.events[n][ev] += value.allEventCount;？

修正答案由johnyHK

的建议

Reduce函数：

var reducefn = function(key,values){ 
    var result = {totEvents:0, event:[]}; 
    values.forEach(function(value){ 
     value.event.forEach(function(eventElem){ 
      var notfound=true; 
      for(var n = 0; n < result.event.length; n++){ 
       eventObj = result.event[n]; 
       for(ev in eventObj){ 
       for(evv in eventElem){ 
        if(ev==evv){ 
         result.event[n][ev] += eventElem[evv]; 
         notfound=false; 
         break; 
        } 
       }} 
      } 
      if(notfound==true){ 
       result.event.push(eventElem); 
      } 
     }); 
     result.totEvents += value.totEvents; 
    }); 
    return result; 
}

来源

2013-01-03 Sundar

的对象，你emit从您map功能的形状必须是一样的物体从reduce函数返回，如在处理大量文档（如本例中）时，reduce的结果可能会反馈回reduce。

所以，你需要改变你的emit发出的文档是这样的：

{userid:<xyz>, {events:[{adduser: 1}], allEventCount:1}} 
{userid:<xyz>, {events:[{login: 1}], allEventCount:1}}

，然后相应地更新您的reduce功能。

来源

2013-01-03 14:39:23 JohnnyHK

谢谢@JohnyHK。这是问题，现在已经解决了。 – Sundar

MongoDB中的MapReduce：如预期超过1000条记录

回答

相关问题