脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → Linux Hadoop安装搭建

Linux下Hadoop 2.7.3 安装搭建过程

 更新时间：2021年11月30日 12:09:04   作者：不想做咸鱼的王富贵  
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS，这篇文章给大家介绍Linux下Hadoop 2.7.3 安装搭建过程，感兴趣的朋友跟随小编一起看看吧

Linux Hadoop 2.7.3 安装搭建

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。

HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

Hadoop解决哪些问题？

海量数据需要及时分析和处理

海量数据需要深入分析和挖掘

数据需要长期保存

海量数据存储的问题：

磁盘IO称为一种瓶颈，而非CPU资源

网络带宽是一种稀缺资源

硬件故障成为影响稳定的一大因素

安装流程

安装JAVA 1.8

下载：

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Java 环境安装配置 /etc/profile：

export JAVA_HOME=/usr/jdk/jdk1.8.0_112
export JRE_HOME=/usr/jdk/jdk1.8.0_112/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

安装Hadoop2.7.3

下载：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/

配置启动Hadoop

1、修改hadoop 2.7.3/etc/hadoop/hadoop-env.sh 指定JAVA_HOME

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el6_9.x86_64

2、修改hdfs的配置文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
</configuration>

3、启动

第一次启动得先格式化

/usr/hadoop/bin/hdfs namenode -format

启动hdfs

/usr/hadoop/sbin/start-dfs.sh

用jps命令查看启动的Java进程

在这里插入图片描述

预览地址：http://127.0.0.1:50070/dfshealth.html

在这里插入图片描述

4、停止

/usr/hadoop/sbin/stop-dfs.sh

到此这篇关于Linux Hadoop 2.7.3 安装搭建的文章就介绍到这了,更多相关Linux Hadoop安装搭建内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Springboot实现Activemq死信队列详解

    Springboot实现Activemq死信队列详解

    这篇文章主要介绍了Springboot实现Activemq死信队列详解,Activemq服务端配置重新投递次数超过 MaximumRedeliveries ,则会进入死信队列,默认情况,有一个死信队列：AcitveMQ.DLQ,所有的消息都投递到此队列,包括过期消息,重投递失败消息,需要的朋友可以参考下
    2023-12-12
  • 关于springboot使用rocketmq RocketMQMessageListener参数问题

    关于springboot使用rocketmq RocketMQMessageListener参数问题

    这篇文章主要介绍了springboot使用rocketmq RocketMQMessageListener参数问题，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值需要的朋友可以参考下
    2022-11-11
  • IDEA集成DeepSeek的详细教程(保姆级教程)

    IDEA集成DeepSeek的详细教程(保姆级教程)

    DeepSeek作为一款强大的代码搜索和分析工具,能够帮助开发者快速定位代码、理解项目结构以及优化代码质量,本文将详细介绍如何在IntelliJ IDEA中集成DeepSeek,并展示如何利用它来提升开发效率,感兴趣的朋友一起看看吧
    2025-02-02
  • Spring中的retry重试组件详解

    Spring中的retry重试组件详解

    这篇文章主要介绍了Spring中的retry重试组件详解,Retry重试组件是一个处理重试逻辑的工具,可以在出现异常或失败情况下自动进行重试操作,从而提高程序的稳定性和可靠性,需要的朋友可以参考下
    2023-10-10
  • JAVA 16位ID生成工具类含16位不重复的随机数数字+大小写

    JAVA 16位ID生成工具类含16位不重复的随机数数字+大小写

    这篇文章主要介绍了JAVA 16位ID生成工具类含16位不重复的随机数数字+大小写，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-02-02
  • Spring中@Value注解获取不到配置值问题及解决

    Spring中@Value注解获取不到配置值问题及解决

    这篇文章主要介绍了Spring中@Value注解获取不到配置值问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09
  • JVM:早期(编译期)优化的深入理解

    JVM:早期(编译期)优化的深入理解

    今天小编就为大家分享一篇关于JVM:早期(编译期)优化的深入理解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
    2019-02-02
  • IDEA如何实现显示类的所有方法

    IDEA如何实现显示类的所有方法

    这篇文章主要介绍了IDEA如何显示类的所有方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-03-03
  • 记一次springboot配置redis项目启动时的一个奇怪的错误

    记一次springboot配置redis项目启动时的一个奇怪的错误

    这篇文章主要介绍了spring boot配置redis项目启动时的一个奇怪的错误，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2022-02-02
  • Java中解决跨域问题的方法汇总(建议收藏)

    Java中解决跨域问题的方法汇总(建议收藏)

    我们在开发过程中经常会遇到前后端分离而导致的跨域问题,导致无法获取返回结果,下面给大家介绍Java中解决跨域问题的方法汇总,感兴趣的朋友跟随小编一起看看吧
    2024-04-04

最新评论