Pycharm连接远端Python环境操作Spark过程

更新时间：2025年07月28日 09:19:02 作者：时下握今

远程连接方案通过SSH配置PyCharm连接CentOS服务器,统一环境避免差异,自动同步代码至远程工作目录,并映射pyspark等工具包,提升开发效率与一致性

远程连接方案，允许程序员连接远端测试环境，确保环境的统一，避免各种环境问题的发生,而且由于是连接的远程环境，所有在Pycharm编写的代码可自动上传到远端服务器，本地在执行代码的时候，相当于直接在远端环境上运行。

1. 创建工程，指定远端python解析器

前提条件：远端Centos系统，安装了Spark环境，安装了Python环境，本文基于anaconda安装的python环境

打开pycharm开发工具，选择File->New Project->Pure Python创建一个Python工程

需要：指定工程本地工作目录，选择先前配置的python解析器，若未配置远端python解析器，则打开对话框根据提示配置

2. 添加远端python解析器

添加远端python解析器，需要SSH方式(指定服务器地址、登录用户名、登录口令)登录远端服务器

指定服务器的登录口令

单机 Next，连接到服务器后，选择python的安装目录

配置完成，就可以选择已经配置了的服务器python解析器。

同时指定工程在服务器上的工作目录

3. 配置完成

配置完成，File->Settings -> 选择对应工程，可以发现：服务器上python环境安装的工具包，及本地工作目录和服务器工作目录的映射。这里主要关注pyspark包的安装

4. 本地文件自动同步远端

本地工程文件实时同步到服务器工作目录，若担心影响开发效率，可以关闭自动同步，开启手工同步

5. 删除远端python解析器(非必须操作，重新配置时参考该项)

配置过程中，若发现服务器python解析器配置错误，或配置重复，可从此处进入，删除有误的配置

6. 文件模板配置

每个文件都用到的一些代码，例如导包，本地锁定服务器python解析器，可以做成一个模板。工程中每次创建一个新文件，会自动导入模板。

#!/usr/bin/env python
# @desc : 
__coding__ = "utf-8"
__author__ = "xxx team"

from pyspark import SparkContext, SparkConf
import os

# 锁定远端操作环境, 避免存在多个版本环境的问题
os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ["PYSPARK_PYTHON"] = "/root/anaconda3/bin/python"
os.environ["PYSPARK_DRIVER_PYTHON"] = "/root/anaconda3/bin/python"

# 快捷键:  main 回车
if __name__ == '__main__':
    print("XXX案例")

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

python集合能干吗
在本篇内容中小编给各位分享了关于python集合的作用以及相关实例内容，需要的朋友们可以学习参考下。
2020-07-07
对pandas将dataframe中某列按照条件赋值的实例讲解
今天小编就为大家分享一篇对pandas将dataframe中某列按照条件赋值的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-11-11
Python中collections.Counter()的具体使用
本文主要介绍了Python中collections.Counter()的具体使用，文中通过示例代码介绍的非常详细，需要的朋友们下面随着小编来一起学习学习吧
2021-07-07
Python中列表的基本操作汇总
这篇文章主要介绍了python中列表的一些基本操作，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下
2022-10-10
Python操作JSON文件的知识点整理
Python 提供了内置的 json 模块来处理 JSON 格式的文件。该模块主要分为读取和写入 JSON 文件。本文主要为大家整理了一些Python操作JSON文件的知识点，需要的可以参考一下
2023-01-01
利用Python抓取阿里云盘资源
相对于百度云盘，阿里云盘的下载不限速，以及大容量空间深受大家的喜爱。本文将通过Python实现抓取阿里云盘的资源，感兴趣的可以学习一下
2022-02-02
浅谈python函数调用返回两个或多个变量的方法
今天小编就为大家分享一篇浅谈python函数调用返回两个或多个变量的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-01-01
Python中判断input()输入的数据的类型
在pyhton中，经常会用到input()语句，但是input()语句输入的内容只能是字符串类型，而我们经常要输入int类型的数据等，这个时候就需要用到int()方法给输入的内容强制转换，今天小编给大家介绍下Python中判断input()输入的数据的类型，感兴趣的朋友跟随小编一起看看吧
2022-11-11
Pycharm中出现ImportError:DLL load failed:找不到指定模块的解决方法
这篇文章主要介绍了Pycharm中出现ImportError:DLL load failed:找不到指定模块的解决方法,需要的朋友可以参考下
2019-09-09
如何使用五行Python代码轻松实现批量抠图
简单来说,抠图就是将照片的主体人或物品从图片中抠出来,以便贴到别处使用,下面这篇文章主要给大家介绍了关于如何使用五行Python代码轻松实现批量抠图的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下
2022-04-04