脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → Hadoop安装

新手Hadoop安装 环境搭建

 更新时间：2021年06月30日 15:22:16   作者：冰阔樂  
这篇文章主要介绍了Hadoop的安装与环境搭建教程图解,本文图文并茂给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下，希望能给您带来帮助

一. 下载环境

Ubuntu 2.x.x 版本

二. 创建Hadoop用户

在虚拟机创建安装完成后。

1.进入用户，打开终端输入如下命令：

sudo useradd -m hadoop -s /bin/bash

则创建好了可以登陆的Hadoop用户

/bin/bash 作为 shell

2.设置密码

在终端输入

sudo passwd hadoop     #需输入两次密码
sudo adduser hadoop sudo #给Hadoop添加管理员权限

完成

三. 进行Hadoop内部环境的搭建

更新apt

打开终端输入

sudo apt-get update  #更新apt
sudo apt-get install vim  #下载vim  用于修改配置文件

四. 安装ssh并配置无密码登陆

1.登陆

sudo apt-get install openssh-serve   #下载
ssh localhost  #登陆    首次登陆输入yes并输入密码登陆完成

在这里插入图片描述

2.设置无密码登陆

exit  #退出登陆
ssh-keygen -t rsa   #出现提示后按回车
cat ./id_rsa.pub >> ./authorized_keys  #加入授权
ssh localhost    #再次登陆ssh   不需要密码

在这里插入图片描述

若出现需要密码登陆但错误，需要将ssh删除，重新下载安装进行配置

rm -rf ~/.ssh   #删除ssh

五.安装Java环境

先寻找Java下载的镜像网站

如华为，清华等

再输入相应的代码进行下载

wget https://repo.huaweicloud.com/java/jdk/8u171-b11/jdk-8u171-linux-x64.tar.gz

之后输入以下指令进行解压

cd /usr/lib
sudo mkdir jvm #创建/uer/lib/jvm 目录存放JDK文件
cd 
sudo tar -zxvf ./jdk-8u171-linux-x64.tar.gz -C /usr/lib/jvm   #解压到/usr/lib/jvm目录中
cd ~
vim ~/.bashrc   #环境变量配置文件

添加以下内容到第一行

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

退出后使命令立即生效

source ~/bashrc  
java -version #查看是否安装成功

六.安装Hadoop

和安装Java类似，搜索镜像并下载

下载完成后将Hadoop安装至/usr/lib中

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

cd /usr/local/hadoop
./bin/hadoop version   #检查版本信息

七.Hadoop伪分布配置

1.配置文件

cd /usr/loca/hadoop/etc/hadoop/
gedit ./etc/hadoop/core-site.xml   #修改core-site.xml的配置

将其中的

<configuration>
</configuration>

改为

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同理将hdfs-site.xml中的改为

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

配置完成后,执行NameNode的格式化：

cd /usr/local/hadoop
./bin/hdfs namenode -format

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

2.开启NameNode 和 DataNode 守护进程

cd /usr/local/hadoop
./sbin/start-dfs.sh  #start-dfs.sh是个完整的可执行文件，中间没有空格

若出现ssh提示，输入yes 出现WARN提示可以忽略启动 Hadoop 时提示 Could not resolve hostname ，输入

vim ~/.bashrc

添加环境变量

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

完成后执行

soure ~/.bashrc #使变量生效
./sbin.start-dfs.sh   #启动Hadoop
jps  #查看是否启动成功，若有NameNode ,DataNode,SecondaryNameNode则成功启动

若DataNode无法启动

cd /usr/local/hadoop
./sbin/stop-dfs.sh   # 关闭
rm -r ./tmp     # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据，慎用
./bin/hdfs namenode -format   # 重新格式化 NameNode
./sbin/start-dfs.sh  # 重启

成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

八.Hadoop集群搭建

按图调整网络设置

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

ping 通则说明成功

在这里插入图片描述

在这里插入图片描述

总结

本篇文章就到这里了，希望能给您带来帮助，也希望您能够多多关注脚本之家的更多内容！

您可能感兴趣的文章:

相关文章

  • java如何对map进行排序详解(map集合的使用)

    java如何对map进行排序详解(map集合的使用)

    这篇文章主要介绍了java如何对map进行排序,java map集合的使用详解，大家可以参考使用
    2013-12-12
  • 使用SkyWalking监控Java服务的过程

    使用SkyWalking监控Java服务的过程

    这篇文章主要介绍了使用SkyWalking监控Java服务，介绍一个对源码0入侵的Java服务监控方式，SkyWalking Agent，只需要启动Java程序的时候加几个参数，就能对Java服务进行可视化监控,需要的朋友可以参考下
    2023-08-08
  • SpringCloud Bus消息总线的实现

    SpringCloud Bus消息总线的实现

    消息总线是一种通信工具，可以在机器之间互相传输消息、文件等，这篇文章主要介绍了SpringCloud Bus消息总线的实现，Spring cloud bus 通过轻量消息代理连接各个分布的节点，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-05-05
  • SpringBoot中使用Thymeleaf模板详情

    SpringBoot中使用Thymeleaf模板详情

    这篇文章主要介绍了SpringBoot中使用Thymeleaf模板详情，hymeleaf是适用于Web和独立环境的现代服务器端Java模板引擎，能够处理HTML，XML，JavaScript，CSS甚至纯文本，下文更多相关资料介绍需要的小伙伴可以参考一下
    2022-04-04
  • 举例解析Java多线程编程中需要注意的一些关键点

    举例解析Java多线程编程中需要注意的一些关键点

    这篇文章主要介绍了Java多线程编程中需要注意的一些关键点,包括ThreadLocal变量与原子更新等一些深层次的内容,需要的朋友可以参考下
    2015-11-11
  • springboot如何通过不同的策略动态调用不同的实现类

    springboot如何通过不同的策略动态调用不同的实现类

    这篇文章主要介绍了springboot如何通过不同的策略动态调用不同的实现类，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2022-02-02
  • 详解关于Windows10 Java环境变量配置问题的解决办法

    详解关于Windows10 Java环境变量配置问题的解决办法

    这篇文章主要介绍了关于Windows10 Java环境变量配置问题的解决办法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-03-03
  • 关于rocketmq中日志文件路径的配置指南

    关于rocketmq中日志文件路径的配置指南

    rocketmq是java编写的,也就是可以指定启动参数,下面这篇文章主要给大家介绍了关于rocketmq中日志文件路径的配置指南,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-04-04
  • SpringBoot Actuator潜在的OOM问题的解决

    SpringBoot Actuator潜在的OOM问题的解决

    本文主要介绍了SpringBoot Actuator潜在的OOM问题的解决，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-11-11
  • 详解Java如何实现一个像String一样不可变的类

    详解Java如何实现一个像String一样不可变的类

    说到 String 大家都知道 String 是一个不可变的类；虽然用的很多，那不知道小伙伴们有没有想过怎么样创建一个自己的不可变的类呢？这篇文章就带大家来实践一下，创建一个自己的不可变的类
    2022-11-11

最新评论