Spark整合Mongodb的方法

更新时间：2017年11月20日 15:58:55 投稿：mrr

Spark 是一个通用，快速，适用于大规模数据的处理引擎。接下来通过本文给大家分享Spark整合Mongodb的方法，感兴趣的朋友一起看看吧

Spark介绍

按照官方的定义，Spark 是一个通用，快速，适用于大规模数据的处理引擎。

通用性：我们可以使用Spark SQL来执行常规分析， Spark Streaming 来流数据处理，以及用Mlib来执行机器学习等。Java，python，scala及R语言的支持也是其通用性的表现之一。

快速：这个可能是Spark成功的最初原因之一，主要归功于其基于内存的运算方式。当需要处理的数据需要反复迭代时，Spark可以直接在内存中暂存数据，而无需像Map Reduce一样需要把数据写回磁盘。官方的数据表明：它可以比传统的Map Reduce快上100倍。

大规模：原生支持HDFS，并且其计算节点支持弹性扩展，利用大量廉价计算资源并发的特点来支持大规模数据处理。

环境准备

mongodb下载

解压安装

启动mongodb服务

$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log

pom依赖

<dependency> 
<groupId>org.mongodb.spark</groupId> 
<artifactId>mongo-spark-connector_2.11</artifactId> 
<version>${spark.version}</version> 
</dependency>

实例代码

object ConnAppTest { 
def main(args: Array[String]): Unit = { 
val spark = SparkSession.builder() 
.master("local[2]") 
.appName("ConnAppTest") 
.config("spark.mongodb.input.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输入 
.config("spark.mongodb.output.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输出 
.getOrCreate() 
// 生成测试数据 
val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"{test: $i}"))) 
// 存储数据到mongodb 
MongoSpark.save(documents) 
// 加载数据 
val rdd = MongoSpark.load(spark) 
// 打印输出 
rdd.show 
} 
}

总结

以上所述是小编给大家介绍的Spark整合Mongodb的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！

您可能感兴趣的文章:

一次因mongo查询不存在字段引发的事故记录
这篇文章主要给大家介绍了关于一次因mongo查询不存在字段引发的事故记录，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-01-01
Mongodb聚合函数count、distinct、group如何实现数据聚合操作
Mongodb中自带的基本聚合函数有三种：count、distinct和group。下面我们分别来讲述一下这三个基本聚合函数及如何实现数据聚合操作，感兴趣的朋友一起学习吧
2016-05-05
MongoDB安全配置详解
这篇文章主要介绍了MongoDB安全配置详解,本文来自国内安全厂商乌云平台,讲解的还是比较全面的,需要的朋友可以参考下
2015-05-05
MongoDB实现自动备份的全过程记录
这篇文章主要给大家介绍了关于MongoDB实现自动备份的全过程，文中通过示例代码介绍的非常详细，对大家学习或者使用MongoDB具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
2019-05-05
MongoDB高效读写海量数据的方法
这篇文章介绍了MongoDB高效读写海量数据的方法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2022-02-02
MongoDB 管道的介绍及操作符实例
这篇文章主要介绍了MongoDB 管道的介绍及操作符实例的相关资料,MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理,需要的朋友可以参考下
2017-07-07
MongoDB学习笔记之MapReduce使用示例
这篇文章主要介绍了MongoDB学习笔记之MapReduce使用示例,本文直接给出实例代码,需要的朋友可以参考下
2015-07-07
CentOS8 安装MongoDB 本地连接的操作方法
MongoDB 是一个由 C++ 语言编写的基于分布式文件存储的数据库，MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的，这篇文章主要介绍了CentOS8 安装MongoDB 本地连接,需要的朋友可以参考下
2022-11-11
MongoDB数据库索引用法详解
本文详细讲解了MongoDB数据库索引的用法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2022-07-07
mongodb replica set 配置高性能多服务器详解
mongodb的多服务器配置，以前写过一篇文章，是master-slave模式的，master-slave模式，不能自动实现故障转移和恢复。所以推荐大家使用mongodb的replica set，来实现多服务器的高性能。
2014-07-07