详解IntelliJ IDEA创建spark项目的两种方式
Intellij是进行scala开发的一个非常好用的工具，可以非常轻松查看scala源码，当然用它来开发Java也是很爽的，之前一直在用scala ide和eclipse，现在换成intellij简直好用到飞起，但是有些人不知道怎么用intellij去创建一个spark项目，这里介绍两种
1、选择File->new Project->Java->Scala,这里scala版本是2.11.8
2 .之后一路点击next，直到finish，创建完的项目见下图，这时候已经可以创建scala文件了，接下来就可以添加spark相关的jar包了，从官网下载http://spark.apache.org/downloads.html，我这里用的是spark-2.2.1-bin-hadoop2.7，你可以根据自己需要选择相应的版本，下载完压缩包后解压
3 . 选择File->Project Structure->Libraries,点击+，选择Java，选择之前下载的spark2.2-hadoop2.7解压后的jars文件夹，将该文件夹下的jar包全部引进该项目，见下图
4 . 之后在libraries中点击+，选择scala sdk，这里选择系统版本的scala，为2.11.8版本,添加见下图
5 . 添加完毕后Project Structure类似于下面这种格式
6 .现在该项目有了spark的jar和scala的sdk，之后创建一个scala文件进行测试,代码及运行结果见下图
7 .出现上面这些内容表明Intellij创建spark项目成功，总结一下这种方式需要引入scala sdk以及spark的jar包，还有另外一种方式是见下图，选择File->New Project->Scala->IDEA，选择next
8 .之后指定项目名称和项目所处位置，点击finish，创建项目
9 .这时候创建的项目如下，这种情况下可以直接右键new 创建scala文件，不需要在额外添加scala sdk
10 .接下来的操作和上面那种一样，添加spark jar包即可，添加完后测试一下
11 .成功输出，表明Intellij创建spark项目成功，当然前提是intellij安装了scala插件，在File->Settings->Plugins,搜索scala，根据查找的结果进行安装后重启intellij即可，下图是我已经安装好的
以上就是两种创建spark项目的方式，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
Java使用JSqlParser解析复杂的SQL语句的详细步骤
这篇文章介绍了在Java代码中使用 JSqlParser解析复杂SQL语句的相关内容,包括JSqlParser是什么及安装步骤,其使用场景如分析、转换、生成和验证SQL语句,处理SQL注入攻击的方法,以及解析复杂SQL语句的步骤、示例代码和对不同类型语句的处理,需要的朋友可以参考下2025-01-01
SpringBoot返回前端Long类型字段丢失精度问题及解决方案
Java服务端返回Long整型数据给前端，JS会自动转换为Number类型，本文主要介绍了SpringBoot返回前端Long类型字段丢失精度问题及解决方案，感兴趣的可以了解一下2024-03-03
这篇文章主要为大家介绍了SpringBoot 过滤器Filter使用实例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-10-10
Java8 Stream API 详细使用方法与操作技巧指南
这篇文章主要介绍了Java8 Stream API 详细使用方法与操作技巧,总结分析了Java8 Stream API 基本功能、使用方法与操作注意事项,需要的朋友可以参考下2020-05-05
表单提交是一个非常常见的功能,如果不加控制,容易因为用户的误操作或网络延迟导致同一请求被发送多次,本文主要介绍了Spring Boot通过Redis实现防止重复提交,具有一定的参考价值,感兴趣的可以了解一下2024-06-06
基于Java实现ssh命令登录主机执行shell命令过程解析
这篇文章主要介绍了基于Java实现ssh命令登录主机执行shell命令过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
这篇文章主要介绍了Java中的i++与++i的实现原理详解,在Java中,i++是一种常见的递增操作符,用于将变量i的值增加1,它是一种简洁且方便的方式来实现循环和计数功能,i++可以用于各种情况,本文来看一下其实现原理,需要的朋友可以参考下2023-10-10
这篇文章主要介绍了java如何动态执行while循环问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-01-01
jmeter提供了多种定时器以便于我们进行接口的测试，你知道jmeter提供的定时器有哪些吗，本文就详细的介绍了Jmeter固定定时器的使用，感兴趣的可以了解一下2021-11-11
这篇文章主要为大家详细介绍了利用MultipartFile实现文件上传功能，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-11-11
最新评论