mongo MapReduce例子
?
第八章?MapReduce
MongoDB的MapReduce相当于Mysql中的"group by"，所以在MongoDB上使用 Map/Reduce 进行并行"统计"很容易。
?
使用MapReduce要实现两个函数 Map函数和Reduce函数，Map函数调用emit(key, value)，遍历collection中所有的记录，将key与value传递给Reduce函数进行处理。Map函数和Reduce函数可以使用JavaScript来实现，可以通过db.runCommand或mapReduce命令来执行一个MapReduce的操作：
?
?
db.runCommand(
{ mapreduce : <collection>,
? ?map : <mapfunction>,
? ?reduce : <reducefunction>
? ?[, query : <query filter object>]
? ?[, sort : <sorts the input objects using this key. Useful for optimization, like sorting by the emit key for fewer reduces>]
? ?[, limit : <number of objects to return from collection>]
? ?[, out : <see output options below>]
? ?[, keeptemp: <true|false>]
? ?[, finalize : <finalizefunction>]
? ?[, scope : <object where fields go into javascript global scope >]
? ?[, verbose : true]
}
);
?
参数说明:
l??mapreduce: 要操作的目标集合。
l??map: 映射函数 (生成键值对序列，作为 reduce 函数参数)。
l??reduce: 统计函数。
l??query: 目标记录过滤。
l??sort: 目标记录排序。
l??limit: 限制目标记录数量。
l??out: 统计结果存放集合 (不指定则使用临时集合，在客户端断开后自动删除)。
l??keeptemp: 是否保留临时集合。
l??finalize: 最终处理函数 (对 reduce 返回结果进行最终整理后存入结果集合)。
l??scope: 向 map、reduce、finalize 导入外部变量。
l??verbose: 显示详细的时间统计信息。
?
下面我们先准备一些数据:
?
?
db.students.insert({classid:1, age:14, name:'Tom'}); db.students.insert({classid:1, age:12, name:'Jacky'}); db.students.insert({classid:2, age:16, name:'Lily'}); db.students.insert({classid:2, age:9, name:'Tony'}); db.students.insert({classid:2, age:19, name:'Harry'}); db.students.insert({classid:2, age:13, name:'Vincent'}); db.students.insert({classid:1, age:14, name:'Bill'}); db.students.insert({classid:2, age:17, name:'Bruce'});??
?
?
?m =?function () {
? ? emit(this.classid, 1);
}
?
?
value 可以使用 JSON Object 传递 (支持多个属性值)。例如:
emit(this.classid, {count:1})
8.2 ReduceReduce函数接收的参数类似 Group 效果，将 Map 返回的键值序列组合成 { key, [value1, value2, value3, value...] } 传递给 reduce。
?
?r =?function (key, values) {
? ? var x = 0;
? ? values.forEach(function (v) {x += v;});
? ? return x;
}
?
?
Reduce 函数对这些 values 进行 "统计" 操作，返回结果可以使用 JSON Object。
8.3 Result?
? ??res = db.runCommand({
? ??mapreduce:"students",
? ??map:m,
? ??reduce:r,
? ??out:"students_res"
? ? });
-----------------------输出-----------------------
{
? ?? ???"result" : "students_res",
? ?? ???"timeMillis" : 1587,
? ?? ???"counts" : {
? ?? ?? ?? ?? ? "input" : 8,
? ?? ?? ?? ?? ? "emit" : 8,
? ?? ?? ?? ?? ? "output" : 2
? ?? ???},
? ?? ???"ok" : 1
}
> db.students_res.find()
{ "_id" : 1, "value" : 3 }
{ "_id" : 2, "value" : 5 }
>
?
mapReduce() 将结果存储在 "students_res" 表中。
8.4 Finalize利用 finalize() 我们可以对 reduce() 的结果做进一步处理。
?
> f = function(key, value) { return {classid:key, count:value}; }
function (key, value) {
? ? return {classid:key, count:value};
}
>
?
我们再重新计算一次，看看返回的结果:
?
> res = db.runCommand({
? ? mapreduce:"students",
? ??map:m,
? ??reduce:r,
? ??out:"students_res",
? ??finalize:f
? ??});
{
? ?? ???"result" : "students_res",
? ?? ???"timeMillis" : 804,
? ?? ???"counts" : {
? ?? ?? ?? ?? ? "input" : 8,
? ?? ?? ?? ?? ? "emit" : 8,
? ?? ?? ?? ?? ? "output" : 2
? ?? ???},
? ?? ???"ok" : 1
}
> db.students_res.find()
{ "_id" : 1, "value" : { "classid" : 1, "count" : 3 } }
{ "_id" : 2, "value" : { "classid" : 2, "count" : 5 } }
>
?
列名变与 “classid”和”count”了，这样的列表更容易理解。
8.5 Options我们还可以添加更多的控制细节。
?
> res = db.runCommand({
? ??mapreduce:"students",
? ??map:m,
? ??reduce:r,
? ??out:"students_res",
? ??finalize:f,
? ??query:{age:{$lt:10}}
? ??});
{
? ?? ???"result" : "students_res",
? ?? ???"timeMillis" : 358,
? ?? ???"counts" : {
? ?? ?? ?? ?? ? "input" : 1,
? ?? ?? ?? ?? ? "emit" : 1,
? ?? ?? ?? ?? ? "output" : 1
? ?? ???},
? ?? ???"ok" : 1
}
> db.students_res.find();
{ "_id" : 2, "value" : { "classid" : 2, "count" : 1 } }
>
?
可以看到先进行了过滤，只取age<10的数据，然后再进行统计，所以就没有1班的统计数据了。?