Spark整合Mongodb的方法

 更新时间:2017年11月20日 15:58:55   转载 投稿:mrr  
Spark 是一个通用,快速,适用于大规模数据的处理引擎。接下来通过本文给大家分享Spark整合Mongodb的方法,感兴趣的朋友一起看看吧

Spark介绍

按照官方的定义,Spark 是一个通用,快速,适用于大规模数据的处理引擎。

通用性:我们可以使用Spark SQL来执行常规分析, Spark Streaming 来流数据处理, 以及用Mlib来执行机器学习等。Java,python,scala及R语言的支持也是其通用性的表现之一。

快速: 这个可能是Spark成功的最初原因之一,主要归功于其基于内存的运算方式。当需要处理的数据需要反复迭代时,Spark可以直接在内存中暂存数据,而无需像Map Reduce一样需要把数据写回磁盘。官方的数据表明:它可以比传统的Map Reduce快上100倍。

大规模:原生支持HDFS,并且其计算节点支持弹性扩展,利用大量廉价计算资源并发的特点来支持大规模数据处理。

环境准备

mongodb下载

解压安装

启动mongodb服务

$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log

pom依赖

<dependency> 
<groupId>org.mongodb.spark</groupId> 
<artifactId>mongo-spark-connector_2.11</artifactId> 
<version>${spark.version}</version> 
</dependency>

实例代码

object ConnAppTest { 
def main(args: Array[String]): Unit = { 
val spark = SparkSession.builder() 
.master("local[2]") 
.appName("ConnAppTest") 
.config("spark.mongodb.input.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输入 
.config("spark.mongodb.output.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输出 
.getOrCreate() 
// 生成测试数据 
val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"{test: $i}"))) 
// 存储数据到mongodb 
MongoSpark.save(documents) 
// 加载数据 
val rdd = MongoSpark.load(spark) 
// 打印输出 
rdd.show 
} 
}

总结

以上所述是小编给大家介绍的Spark整合Mongodb的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

相关文章

  • Mongodb批量删除gridfs文件实例

    Mongodb批量删除gridfs文件实例

    这篇文章主要介绍了Mongodb批量删除gridfs文件实例,本文根据生产环境实际需求总结而来,需要的朋友可以参考下
    2015-01-01
  • MongoDB入门教程之细说MongoDB数据库的增删查改操作

    MongoDB入门教程之细说MongoDB数据库的增删查改操作

    这篇文章主要介绍了MongoDB入门教程之细说MongoDB数据库的增删查改操作,本文环境是windows,所以以图片形式讲解,需要的朋友可以参考下
    2014-08-08
  • mongodb增量/全量备份脚本的实现详解

    mongodb增量/全量备份脚本的实现详解

    这篇文章主要给大家介绍了关于mongodb增量/全量备份脚本的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2018-09-09
  • MongoDB 语法使用小结

    MongoDB 语法使用小结

    MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的
    2011-10-10
  • MongoDB的创建、更新和删除

    MongoDB的创建、更新和删除

    下面开始学习MongoDB最重要也是最基础的部分:C(创建)R(查询)U(更新)D(删除);由于R(查询)操作相对来说内容比较多,也比较繁琐,同时使用频率也比较高,所以下一篇会拿出来单独介绍。废话不多说,连上服务器,我们直接进入正题
    2017-05-05
  • 详解MongoDB管理命令

    详解MongoDB管理命令

    MongoDB是一个NoSQL数据库系统:一个数据库可以包含多个集合(Collection),每个集合对应于关系数据库中的表;而每个集合中可以存储一组由列标识的记录,列是可以自由定义的,非常灵活,由一组列标识的实体的集合对应于关系数据库表中的行
    2016-01-01
  • Mongodb增加、移除Shard Server实例

    Mongodb增加、移除Shard Server实例

    这篇文章主要介绍了Mongodb增加、移除Shard Server实例,shard服务器(Shard Server).Shard服务器是存储实际数据的分片,每个Shard可以是一个mongod实例,也可以是一组mongod实例构成的Replica Sets,需要的朋友可以参考下
    2015-01-01
  • MongoDB学习笔记之MapReduce使用示例

    MongoDB学习笔记之MapReduce使用示例

    这篇文章主要介绍了MongoDB学习笔记之MapReduce使用示例,本文直接给出实例代码,需要的朋友可以参考下
    2015-07-07
  • 如何对 MongoDB 进行性能优化(五个简单步骤)

    如何对 MongoDB 进行性能优化(五个简单步骤)

    MongoDB一直是最流行的NoSQL,而根据DB-Engines Ranking最新的排行,时下MongoDB已经击败PostgreSQL跃居数据库总排行的第四位,仅次于Oracle、MySQL和Microsoft SQL Server。本文给大家介绍MongoDB性能优化的简单总结。
    2015-10-10
  • NoSQL反模式 - 文档数据库篇

    NoSQL反模式 - 文档数据库篇

    我们设计关系数据库Schema的都有一套完整的方案,而NoSQL却没有这些。半年前笔者读了本《SQL反模式》的书,觉得非常好。就开始留意,对于NoSQL是否也有反模式?好的反模式可以在我们设计Schema告诉哪里是陷阱和悬崖。
    2014-08-08

最新评论