Spark Maven项目打包后找不到主类问题及解决

 更新时间:2026年02月07日 09:13:26   作者:htfenght  
在使用IDEA、Maven创建Spark项目时,遇到打包后Scala程序找不到主类的问题,原因是Maven缺少scala-maven-plugin插件,通过添加该插件并重新构建项目,问题得到解决

项目配置

IDEA + Maven + spark2.2 + scala 2.11.4 + java8

问题

使用IDEA,Maven创建java和scala项目,写完代码本地运行没有问题,打包后,java程序没有问题,scala程序总是找不到主类

java.lang.ClassNotFoundException: cn.spark.sql.SparkSQLDemo
        at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:348)
        at org.apache.spark.util.Utils$.classForName(Utils.scala:225)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:686)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:185)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:210)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:124)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)​

问题原因

Maven缺少插件scala-maven-plugin

问题解决

加入插件

<build>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <id>compile-scala</id>
                        <phase>compile</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>test-compile-scala</id>
                        <phase>test-compile</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
                <configuration>
                    <scalaVersion>2.11.4</scalaVersion>
                </configuration>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.2</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>

            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass></mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

            <plugin>
                <groupId>org.codehaus.mojo</groupId>
                <artifactId>exec-maven-plugin</artifactId>
                <version>1.6.0</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>exec</goal>
                        </goals>
                    </execution>
                </executions>
                <configuration>
                    <executable>java</executable>
                    <includeProjectDependencies>true</includeProjectDependencies>
                    <includePluginDependencies>false</includePluginDependencies>
                    <classpathScope>compile</classpathScope>
                    <mainClass>cn.spark.study.App</mainClass>
                </configuration>
            </plugin>
        </plugins>
    </build>

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Java zookeeper服务的使用详解

    Java zookeeper服务的使用详解

    ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等
    2022-08-08
  • 手撸一个Spring Boot Starter并上传到Maven中央仓库

    手撸一个Spring Boot Starter并上传到Maven中央仓库

    本文主要介绍了手撸一个Spring Boot Starter并上传到Maven中央仓库,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-05-05
  • java中this的用法示例(关键字this)

    java中this的用法示例(关键字this)

    这篇文章主要介绍了java中this的用法示例(关键字this),需要的朋友可以参考下
    2014-03-03
  • 完美解决在Servlet中出现一个输出中文乱码的问题

    完美解决在Servlet中出现一个输出中文乱码的问题

    下面小编就为大家带来一篇完美解决在Servlet中出现一个输出中文乱码的问题。小编觉得挺不错的现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-01-01
  • SpringBoot2之PUT请求接收不了参数的解决方案

    SpringBoot2之PUT请求接收不了参数的解决方案

    这篇文章主要介绍了SpringBoot2之PUT请求接收不了参数的解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-07-07
  • SpringBoot实现Excel文件批量上传导入数据库

    SpringBoot实现Excel文件批量上传导入数据库

    这篇文章主要为大家详细介绍了SpringBoot实现Excel文件批量上传导入数据库,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-11-11
  • SpringBoot优化连接数的方法详解

    SpringBoot优化连接数的方法详解

    SpringBoot开发最大的好处是简化配置,内置了Tomcat,下面这篇文章主要给大家介绍了关于SpringBoot优化连接数的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-06-06
  • Spring AI借助全局参数实现智能数据库操作与个性化待办管理

    Spring AI借助全局参数实现智能数据库操作与个性化待办管理

    这篇文章主要介绍了Spring AI借助全局参数实现智能数据库操作与个性化待办管理,本文给大家介绍的非常详细,需要的朋友可以参考下
    2024-11-11
  • SpringBoot如何实现持久化登录状态获取

    SpringBoot如何实现持久化登录状态获取

    这篇文章主要介绍了SpringBoot 如何实现持久化登录状态获取,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-11-11
  • VsCode配置java环境的详细图文教程

    VsCode配置java环境的详细图文教程

    vscode是一个免费的代码编辑器,支持多种主题,应用起来简单方便,下面这篇文章主要给大家介绍了关于VsCode配置java环境的详细图文教程,文中通过图文介绍的非常详细,需要的朋友可以参考下
    2023-02-02

最新评论