脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → 服务器其它 → Hadoop远程控制SSH

Hadoop脚本远程控制中SSH常见问题详解

 更新时间：2023年02月22日 14:01:01   作者：iiopsd  
这篇文章主要为大家介绍了Hadoop脚本远程控制中SSH常见问题详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

背景

在Hadoop脚本远程控制中，需要知道SSH一些常见的知识点。

SSH有三个知识点

1、使用ssh通过Hadoop脚本远程控制其他节点。

2、ssh配置免密模式。

3、ssh远程执行的时候有一个弊端，上面说到需要使用Java JDK，使用Java命令来启动jvm进程，那么这时候如果有一个节点a要去控制另一个节点b启动一个jvm进程，在使用ssh远程执行的时候，是不会加载对方的环境变量的 etc/profile文件的。

这边演示一下，有两台机器ip为118和119，在118节点中增加环境变量BIGDATA

[root@localhost ~]# vi /etc/profile
// 在文件尾行追加,并保存文件
export BIGDATA=hello

打印刚才的变量发现变量为空

[root@localhost ~]# echo $BIGDATA
[root@localhost ~]#

因为当前bash在运行时已经加载了环境变量文件，之后的修改并没有应用到当前环境，我们可以用source重新加载文件，然后在输出变量就可以打印出对应的值了

[root@localhost ~]# source /etc/profile
[root@localhost ~]# echo $BIGDATA
hello
[root@localhost ~]#

现在我们使用119节点，通过ssh让118节点远程执行输出变量值看一下效果

[root@localhost ~]# ssh root@192.168.0.118 'echo $BIGDATA'
The authenticity of host '192.168.0.118 (192.168.0.118)' can't be established.
ECDSA key fingerprint is SHA256:rDsunaro1f5LyKkEeNohXfDD9oEglNXtviD/JZtA1dw.
ECDSA key fingerprint is MD5:51:38:8d:fc:e4:d2:c7:ce:66:09:c8:f2:e6:9e:a7:f2.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.0.118' (ECDSA) to the list of known hosts.
root@192.168.0.118's password: 
[root@localhost ~]#

这时候我们可以发现没有打印变量值，这是因为在ssh远程登录到118节点的时候，不会加载/etc/profile文件，如果不加载的话，就无法获取到变量。

这样我们只能多执行一个命令去加载环境变量文件，再输出变量，这时候就可以输出变量值了。

[root@localhost ~]# ssh root@192.168.0.118 'source /etc/profile;echo $BIGDATA;'
root@192.168.0.118's password: 
hello
[root@localhost ~]#

总结下这个知识点的内容: JDK安装完都要设置环境变量，在每台节点中都要设置Java home环境变量，但是如果有一台节点要去调用别人使用Java命令启动的话，那么这时候通过ssh过去是得不到Java home环境变量的。所以在搭建的时候，装完JDK后，设置完Java home环境变量，在Hadoop的配置命令中再重新配置一次Java home的绝对路径。 要把Java的安装路径即告诉操作系统，也要告诉Hadoop。

以上就是Hadoop脚本远程控制中SSH常见问题详解的详细内容，更多关于Hadoop远程控制SSH的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • win2003服务器一招废掉所有木马(防提权)

    win2003服务器一招废掉所有木马(防提权)

    木马的危害，在于它能够远程控制你的电脑。当你成为“肉鸡”的时候，别人（控制端）就可以进入你的电脑，偷看你的文件、盗窃密码、甚至用你的QQ发一些乱七八糟的东西给你的好友
    2012-03-03
  • 搭建本地的idea激活服务器的详细教程

    搭建本地的idea激活服务器的详细教程

    这篇文章主要介绍了搭建本地的idea激活服务器的详细教程,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2020-09-09
  • 公开的免费STUN服务器

    公开的免费STUN服务器

    这篇文章主要介绍了公开的免费STUN服务器，stunserver.org 测试是正常的,需要的朋友可以参考下
    2020-02-02
  • Linux下Redis服务器搭建过程

    Linux下Redis服务器搭建过程

    这篇文章主要介绍了Linux下Redis服务器搭建过程,需要的朋友可以参考下
    2017-10-10
  • RSync实现文件备份同步详解

    RSync实现文件备份同步详解

    rsync，remote synchronize顾名思意就知道它是一款实现远程同步功能的软件，它在同步文件的同时，可以保持原来文件的权限、时间、软硬链接等附加信息
    2016-03-03
  • MongoDB 内存使用情况分析

    MongoDB 内存使用情况分析

    都说 MongoDB 是个内存大户，但是怎么知道它到底用了多少内存呢
    2013-07-07
  • Dubbo 系列JDK SPI 原理解析

    Dubbo 系列JDK SPI 原理解析

    这篇文章主要为大家介绍了Dubbo 系列JDK SPI 原理解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-02-02
  • 最好懂的HTTPS讲解

    最好懂的HTTPS讲解

    这篇文章主要介绍了最好懂的HTTPS讲解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2020-03-03
  • CentOS与Ubuntu哪个更适合做服务器系统

    CentOS与Ubuntu哪个更适合做服务器系统

    对于服务器而言，有两个主流的 Linux 发行版，那就是 CentOS 和 Ubuntu。但如何从这两个之中选择，这是摆在管理员、初学者和专业人士面前的主要问题。在对这两个（和更多）发行版有了一定的经验之后，我们决定对这两个发行版用于服务器时做个比较
    2017-04-04
  • git fork同步是什么意思？

    git fork同步是什么意思？

    这篇文章主要介绍了git fork同步是什么意思？fork到了哪里？有什么用？如何用？跟clone有什么区别？本文就一一解释这些问题,需要的朋友可以参考下
    2015-05-05

最新评论