脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → MongoDB → spark整合mongodb

Spark整合Mongodb的方法

 更新时间：2017年11月20日 15:58:55   投稿：mrr  
Spark 是一个通用，快速，适用于大规模数据的处理引擎。接下来通过本文给大家分享Spark整合Mongodb的方法，感兴趣的朋友一起看看吧

Spark介绍

按照官方的定义，Spark 是一个通用，快速，适用于大规模数据的处理引擎。

通用性：我们可以使用Spark SQL来执行常规分析， Spark Streaming 来流数据处理， 以及用Mlib来执行机器学习等。Java，python，scala及R语言的支持也是其通用性的表现之一。

快速： 这个可能是Spark成功的最初原因之一，主要归功于其基于内存的运算方式。当需要处理的数据需要反复迭代时，Spark可以直接在内存中暂存数据，而无需像Map Reduce一样需要把数据写回磁盘。官方的数据表明：它可以比传统的Map Reduce快上100倍。

大规模：原生支持HDFS，并且其计算节点支持弹性扩展，利用大量廉价计算资源并发的特点来支持大规模数据处理。

环境准备

mongodb下载

解压安装

启动mongodb服务

$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log

pom依赖 

<dependency> 
<groupId>org.mongodb.spark</groupId> 
<artifactId>mongo-spark-connector_2.11</artifactId> 
<version>${spark.version}</version> 
</dependency>

实例代码 

object ConnAppTest { 
def main(args: Array[String]): Unit = { 
val spark = SparkSession.builder() 
.master("local[2]") 
.appName("ConnAppTest") 
.config("spark.mongodb.input.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输入 
.config("spark.mongodb.output.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输出 
.getOrCreate() 
// 生成测试数据 
val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"{test: $i}"))) 
// 存储数据到mongodb 
MongoSpark.save(documents) 
// 加载数据 
val rdd = MongoSpark.load(spark) 
// 打印输出 
rdd.show 
} 
}

总结

以上所述是小编给大家介绍的Spark整合Mongodb的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！

您可能感兴趣的文章:

相关文章

  • MongoDB教程之索引介绍

    MongoDB教程之索引介绍

    这篇文章主要介绍了MongoDB教程之索引介绍,本文讲解了索引基础、唯一索引、使用explain、索引管理等内容,需要的朋友可以参考下
    2015-05-05
  • Mongodb 利用mongoshell进行数据类型转换的实现方法

    Mongodb 利用mongoshell进行数据类型转换的实现方法

    下面小编就为大家分享一篇Mongodb 利用mongoshell进行数据类型转换的实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2017-12-12
  • 老生常谈MongoDB数据库基础操作

    老生常谈MongoDB数据库基础操作

    下面小编就为大家带来一篇老生常谈MongoDB数据库基础操作。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-07-07
  • MongoDB数据库的日志文件深入分析

    MongoDB数据库的日志文件深入分析

    这篇文章主要给大家介绍了关于MongoDB数据库日志的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用MongoDB具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2018-09-09
  • 如何为MongoDB添加分片副本集

    如何为MongoDB添加分片副本集

    这篇文章主要介绍了如何为MongoDB添加分片副本集，帮助大家更好的理解和学习使用MongoDB数据库，感兴趣的朋友可以了解下
    2021-03-03
  • MongoDB开源数据库开发工具dbKoda

    MongoDB开源数据库开发工具dbKoda

    这篇文章主要介绍了MongoDB开源数据库开发工具dbKoda的相关资料,需要的朋友可以参考下
    2017-09-09
  • MongoDB中文学习入门教程（包括安装配置和增删改查）

    MongoDB中文学习入门教程（包括安装配置和增删改查）

    本文主要介绍了MongoDB的基本知识和操作,MongoDB是一种面向文档的无结构化数据库系统,具有灵活性、可扩展性和高性能等优点,安装和配置MongoDB也非常简单,使用MongoDB的API进行操作也非常方便,在实际使用中,MongoDB可以作为常规数据存储或NoSQL解决方案的替代品
    2024-01-01
  • mongodb root用户创建数据库提示not master的解决

    mongodb root用户创建数据库提示not master的解决

    这篇文章主要介绍了mongodb root用户创建数据库提示not master的解决方案，具有很好的参考价值，希望对大家有所帮助。
    2023-02-02
  • MongoDB 学习笔记(一)-MongoDB配置

    MongoDB 学习笔记(一)-MongoDB配置

    MongoDB 是一个基于分布式文件存储的数据库。接下来通过本文给大家介绍MongoDB 学习笔记(一)MongoDB配置的相关资料,需要的朋友可以参考下
    2016-05-05
  • MongoDB系列教程（二）：MongoDB简介

    MongoDB系列教程（二）：MongoDB简介

    这篇文章主要介绍了MongoDB系列教程（二）：MongoDB简介,本文讲解了MongoDB介绍、MongoDB功能特性、mongoDB数据架构等内容,需要的朋友可以参考下
    2015-05-05

最新评论