maven创建spark项目的pom.xml文件配置demo
更新时间：2023年05月17日 09:45:56 作者：mliu222
这篇文章主要为大家介绍了maven创建spark项目的pom.xml文件配置demo，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
pom.xml文件中添加如下配置项
创建maven项目后，在pom.xml文件中添加如下配置项：
<properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<scala.version>2.10.5</scala.version>
<spark.version>1.6.2</spark.version>
<hadoop.version>2.6.4</hadoop.version>
<encoding>UTF-8</encoding>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>${scala.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
</dependencies>
<build>
<pluginManagement>
<plugins>
<!-- 编译scala的插件 -->
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>3.2.2</version>
</plugin>
<!-- 编译java的插件 -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.5.1</version>
</plugin>
</plugins>
</pluginManagement>
<plugins>
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<executions>
<execution>
<id>scala-compile-first</id>
<phase>process-resources</phase>
<goals>
<goal>add-source</goal>
<goal>compile</goal>
</goals>
</execution>
<execution>
<id>scala-test-compile</id>
<phase>process-test-resources</phase>
<goals>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<executions>
<execution>
<phase>compile</phase>
<goals>
<goal>compile</goal>
</goals>
</execution>
</executions>
</plugin>
<!-- 打包插件 -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.4.3</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>以上就是maven创建spark项目的pom.xml文件配置demo的详细内容，更多关于maven创建spark的资料请关注脚本之家其它相关文章！
相关文章
IDEA快速搭建spring boot项目教程(Spring initializr)
这篇文章主要介绍了IDEA快速搭建spring boot项目教程(Spring initializr)，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-01-01
解决JSONObject.toJSONString()输出null的问题
这篇文章主要介绍了解决JSONObject.toJSONString()输出null的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-02-02
这篇文章对Java编程语言的基础知识作了一个较为全面的汇总，在这里给大家分享一下。需要的朋友可以参考，希望能给你带来帮助2021-08-08
spring mvc DispatcherServlet之前端控制器架构详解
这篇文章主要为大家详细介绍了spring mvc DispatcherServlet之前端控制器架构，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-04-04
Spring Boot lombok在高版本idea中注解不生效的解决办法
这篇文章主要介绍了Spring Boot lombok在高版本idea中注解不生效的解决办法,文中介绍了三种解决方案,分别是使用ptg插件生成方法、添加Lombok依赖或指定1.18.30版本并清除构建配置,需要的朋友可以参考下2025-05-05
这篇文章主要介绍了Java中的逻辑结构详解,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-04-04
Spring容器通过BeanDefinition对象和singletonObjects Map集合管理Bean实例化过程,实现依赖注入和控制反转,本文给大家介绍SpringBean实例化的基本流程源码剖析,感兴趣的朋友跟随小编一起看看吧2026-01-01
这篇文章主要介绍了IntelliJ IDEA 关闭多余项目的操作方法,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-04-04
JDK21允许switch传入null,避免空指针异常,提升灵活性,本文主就来介绍一下JDK21中switch的具体使用,感兴趣的可以了解一下2025-08-08
本文详解SpringBoot集成Kafka开发,涵盖项目搭建、配置文件设置、生产消费者实现、消息发送策略、偏移量管理及核心概念如副本、存储,适用于消息处理与系统间通信场景,感兴趣的朋友跟随小编一起看看吧2025-08-08
最新评论