MongoDB中MapReduce的使用方法详解

更新时间：2017年12月08日 15:19:37 作者：独孤求败

MapReduce应该算是MongoDB操作中比较复杂的了，下面这篇文章主要给大家介绍了关于MongoDB中MapReduce使用的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起看看吧。

前言

玩过Hadoop的小伙伴对MapReduce应该不陌生，MapReduce的强大且灵活，它可以将一个大问题拆分为多个小问题，将各个小问题发送到不同的机器上去处理，所有的机器都完成计算后，再将计算结果合并为一个完整的解决方案，这就是所谓的分布式计算。本文我们就来看看MongoDB中MapReduce的使用。

打算用mongodb mapreduce之前一定要知道的事！！！

mapreduce其实是分批处理数据的，每一百次重新reduce处理，所以到reduce里的数据如果是101条，那就会分2次进入。

这导致的问题就是在reduce中如果初始化 var count = 0；在循环中 count ++，最后输出的是1？？？

避免都方法是，把数据存在返回的value里，这个value是会在循环进入reduce的时候重用的。在循环中 count += value.count就能把之前都100加上了！！！

还有如果只有一条数据，那它不会进入reduce，会直接返回。

下面是具体例子：

string map = @"
function() {
var view = this;
emit(view.activity, {pv: 1});
}";
string reduce = @" 
function(key, values) {
var result = {pv: 0};
values.forEach(function(value){ 
result.pv += value.pv;
});
return result;
}";
string finalize = @"
function(key, value){
return value;
}";

mapReduce

MongoDB中的MapReduce可以用来实现更复杂的聚合命令，使用MapReduce主要实现两个函数：map函数和reduce函数，map函数用来生成键值对序列，map函数的结果作为reduce函数的参数，reduce函数中再做进一步的统计，比如我的数据集如下：

{"_id" : ObjectId("59fa71d71fd59c3b2cd908d7"),"name" : "鲁迅","book" : "呐喊","price" : 38.0,"publisher" : "人民文学出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908d8"),"name" : "曹雪芹","book" : "红楼梦","price" : 22.0,"publisher" : "人民文学出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908d9"),"name" : "钱钟书","book" : "宋诗选注","price" : 99.0,"publisher" : "人民文学出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908da"),"name" : "钱钟书","book" : "谈艺录","price" : 66.0,"publisher" : "三联书店"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908db"),"name" : "鲁迅","book" : "彷徨","price" : 55.0,"publisher" : "花城出版社"}

假如我想查询每位作者所出的书的总价，操作如下：

var map=function(){emit(this.name,this.price)}
var reduce=function(key,value){return Array.sum(value)}
var options={out:"totalPrice"}
db.sang_books.mapReduce(map,reduce,options);
db.totalPrice.find()

emit函数主要用来实现分组，接收两个参数，第一个参数表示分组的字段，第二个参数表示要统计的数据，reduce来做具体的数据处理操作，接收两个参数，对应emit方法的两个参数，这里使用了Array中的sum函数对price字段进行自加处理，options中定义了将结果输出的集合，届时我们将在这个集合中去查询数据，默认情况下，这个集合即使在数据库重启后也会保留，并且保留集合中的数据。

查询结果如下：

{
 "_id" : "曹雪芹",
 "value" : 22.0
}
{
 "_id" : "钱钟书",
 "value" : 165.0
}
{
 "_id" : "鲁迅",
 "value" : 93.0
}

再比如我想查询每位作者出了几本书，如下：

var map=function(){emit(this.name,1)}
var reduce=function(key,value){return Array.sum(value)}
var options={out:"bookNum"}
db.sang_books.mapReduce(map,reduce,options);
db.bookNum.find()

查询结果如下：

{
 "_id" : "曹雪芹",
 "value" : 1.0
}
{
 "_id" : "钱钟书",
 "value" : 2.0
}
{
 "_id" : "鲁迅",
 "value" : 2.0
}

将每位作者的书列出来，如下：

var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
var options={out:"books"}
db.sang_books.mapReduce(map,reduce,options);
db.books.find()

结果如下：

{
 "_id" : "曹雪芹",
 "value" : "红楼梦"
}
{
 "_id" : "钱钟书",
 "value" : "宋诗选注,谈艺录"
}
{
 "_id" : "鲁迅",
 "value" : "呐喊,彷徨"
}

比如查询每个人售价在￥40以上的书：

var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
var options={query:{price:{$gt:40}},out:"books"}
db.sang_books.mapReduce(map,reduce,options);
db.books.find()

query表示对查到的集合再进行筛选。

结果如下：

{
 "_id" : "钱钟书",
 "value" : "宋诗选注,谈艺录"
}
{
 "_id" : "鲁迅",
 "value" : "彷徨"
}

runCommand实现

我们也可以利用runCommand命令来执行MapReduce。格式如下：

db.runCommand(
    {
     mapReduce: <collection>,
     map: <function>,
     reduce: <function>,
     finalize: <function>,
     out: <output>,
     query: <document>,
     sort: <document>,
     limit: <number>,
     scope: <document>,
     jsMode: <boolean>,
     verbose: <boolean>,
     bypassDocumentValidation: <boolean>,
     collation: <document>
    }
    )

含义如下：

参数	含义
mapReduce	表示要操作的集合
map	map函数
reduce	reduce函数
finalize	最终处理函数
out	输出的集合
query	对结果进行过滤
sort	对结果排序
limit	返回的结果数
scope	设置参数值，在这里设置的值在map、reduce、finalize函数中可见
jsMode	是否将map执行的中间数据由javascript对象转换成BSON对象，默认为false
verbose	是否显示详细的时间统计信息
bypassDocumentValidation	是否绕过文档验证
collation	其他一些校对

如下操作，表示执行MapReduce操作并对统计的集合限制返回条数，限制返回条数之后再进行统计操作，如下：

var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
db.runCommand({mapreduce:'sang_books',map,reduce,out:"books",limit:4,verbose:true})
db.books.find()

执行结果如下：

{
 "_id" : "曹雪芹",
 "value" : "红楼梦"
}
{
 "_id" : "钱钟书",
 "value" : "宋诗选注,谈艺录"
}
{
 "_id" : "鲁迅",
 "value" : "呐喊"
}

小伙伴们看到，鲁迅有一本书不见了，就是因为limit是先限制集合返回条数，然后再执行统计操作。

finalize操作表示最终处理函数，如下：

var f1 = function(key,reduceValue){var obj={};obj.author=key;obj.books=reduceValue; return obj}
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
db.runCommand({mapreduce:'sang_books',map,reduce,out:"books",finalize:f1})
db.books.find()

f1第一个参数key表示emit中的第一个参数，第二个参数表示reduce的执行结果，我们可以在f1中对这个结果进行再处理，结果如下：

{
 "_id" : "曹雪芹",
 "value" : {
  "author" : "曹雪芹",
  "books" : "红楼梦"
 }
}
{
 "_id" : "钱钟书",
 "value" : {
  "author" : "钱钟书",
  "books" : "宋诗选注,谈艺录"
 }
}
{
 "_id" : "鲁迅",
 "value" : {
  "author" : "鲁迅",
  "books" : "呐喊,彷徨"
 }
}

scope则可以用来定义一个在map、reduce和finalize中都可见的变量，如下：

var f1 = function(key,reduceValue){var obj={};obj.author=key;obj.books=reduceValue;obj.sang=sang; return obj}
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',--'+sang+'--,')}
db.runCommand({mapreduce:'sang_books',map,reduce,out:"books",finalize:f1,scope:{sang:"haha"}})
db.books.find()

执行结果如下：

{
 "_id" : "曹雪芹",
 "value" : {
  "author" : "曹雪芹",
  "books" : "红楼梦",
  "sang" : "haha"
 }
}
{
 "_id" : "钱钟书",
 "value" : {
  "author" : "钱钟书",
  "books" : "宋诗选注,--haha--,谈艺录",
  "sang" : "haha"
 }
}
{
 "_id" : "鲁迅",
 "value" : {
  "author" : "鲁迅",
  "books" : "呐喊,--haha--,彷徨",
  "sang" : "haha"
 }
}

好了，MongoDB中的MapReduce我们就先说到这里，小伙伴们有问题欢迎留言讨论。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。

参考资料：

1.《MongoDB权威指南第2版》

2.mongodb mapreduce小试

3.mongoDB--mapreduce用法详解(未找到原始出处)

您可能感兴趣的文章:

一文搞懂Scrapy与MongoDB交互过程
这篇文章主要介绍了Scrapy与MongoDB交互过程，文末给大家介绍了类方法@classmethod的相关知识,需要的朋友可以参考下
2022-07-07
MongoDB快速入门笔记(一)之windows下安装MongoDB方法
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。本文重点给大家介绍MongoDB快速入门笔记(一)之windows下安装MongoDB方法，非常不错具有参考借鉴价值，感兴趣的朋友一起看下吧
2016-06-06
MongoDB安全配置详解
这篇文章主要介绍了MongoDB安全配置详解,本文来自国内安全厂商乌云平台,讲解的还是比较全面的,需要的朋友可以参考下
2015-05-05
关于Mongodb 认证鉴权你需要知道的一些事
最近因为mongodb被黑了，早先我就疑惑过怎么这东西开启服务就能用了，后来找了各方资料，知道MongoDB默认是没有鉴权的，所以这篇文章主要给大家介绍了关于Mongodb认证鉴权你需要知道的一些事，需要的朋友可以参考下。
2017-10-10
毫不费力！在Ubuntu上安装MongoDB7.0的简易指南！
MongoDB是一种流行的NoSQL数据库管理系统,用于处理大量结构化和半结构化数据,本文提供了在Ubuntu上安装MongoDB 7.0的详细步骤,以下步骤包含了在Ubuntu系统中安装MongoDB的必要软件包、配置MongoDB数据目录、配置MongoDB数据库的认证方式等信息,需要的朋友可以参考下
2023-10-10
mongodb本地连接失败的问题解决
本文主要介绍了mongodb本地连接失败的问题解决，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-07-07
对标mongodb存储类JSON数据文档统计分析详解
这篇文章主要介绍了对标mongodb存储类JSON数据文档统计分析,只是介绍了简单的查询，其实针对各种统计分析场景，clickhouse提供了超级多的统计分析函数、窗口函数等等，当然针对数组的数据类型也有很多的统计分析函数，需要的朋友可以参考下
2022-06-06
详解MongoDB数据还原及同步解决思路
mongodb数据如何还原，同步到其他系统？其实实现方法很简单，这篇文章主要介绍了MongoDB数据还原及同步解决思路,需要的朋友可以参考下
2018-08-08
MongoDB CRUD操作中的插入实例教程
这篇文章主要给大家介绍了关于MongoDB CRUD操作中的插入的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用MongoDB具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
2020-07-07
mongodb清除连接和日志的正确方法分享
这篇文章主要给大家介绍了关于mongodb清除连接和日志的正确方法,文中通过示例代码介绍的非常详细,对大家学习或者使用mongodb具有一定的参考学习价值,需要的朋友可以参考下
2021-09-09