如何安装Hadoop并运行WordCount程序

更新时间：2025年05月14日 10:26:09 作者：依年南台

这篇文章主要介绍了如何安装Hadoop并运行WordCount程序,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧

一、安装 Java

Hadoop 依赖 Java，首先需要安装 Java 开发工具包（JDK）。以 Ubuntu 为例：

sudo apt update
sudo apt install openjdk-8-jdk

安装后，设置环境变量：

echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc
source ~/.bashrc

二、安装 Hadoop

下载 Hadoop：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop

配置环境变量：

echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

配置 Hadoop： core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml：

xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/data/datanode</value>
    </property>
</configuration>

三、启动 Hadoop

格式化 NameNode：

hdfs namenode -format

启动 HDFS 和 YARN：

start-dfs.sh
start-yarn.sh

验证服务：
访问 http://localhost:9870 查看 HDFS 界面，http://localhost:8088 查看 YARN 界面。

四、运行 WordCount 程序

准备输入数据：

echo "Hello Hadoop World" > input.txt
hdfs dfs -mkdir -p /user/input
hdfs dfs -put input.txt /user/input

执行 WordCount：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/input /user/output

查看结果：

hdfs dfs -cat /user/output/part-r-00000

到此这篇关于如何安装Hadoop并运行WordCount程序的文章就介绍到这了,更多相关Hadoop安装和WordCount程序内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Java使用Hutool实现AES、DES加密解密的方法
本篇文章主要介绍了Java使用Hutool实现AES、DES加密解密的方法，具有一定的参考价值，有兴趣的可以了解一下
2017-08-08
SpringBoot项目实现分布式事务的实战指南
在微服务架构中,分布式事务是确保跨服务数据一致性的关键技术,SpringBoot作为主流的Java开发框架,提供了多种分布式事务解决方案,本文将深入探讨这些方案,帮助开发者根据业务场景选择最适合的方案,需要的朋友可以参考下
2025-10-10
Maven入门之使用Nexus搭建Maven私服及上传下载jar包
这篇文章主要介绍了Maven入门之使用Nexus搭建Maven私服及上传下载jar包，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-12-12
在IDEA中配置Maven镜像的最新方法
这篇文章主要给大家介绍了关于在IDEA中配置Maven镜像的最新方法,Maven是一个流行的Java项目构建工具,它依赖于互联网上的Mave中央仓库来下载和管理项目依赖库,文中通过图文介绍的非常详细,需要的朋友可以参考下
2023-11-11
详解MyBatis-Plus Wrapper条件构造器查询大全
这篇文章主要介绍了详解MyBatis-Plus Wrapper条件构造器查询大全，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-08-08
Windows下Java调用OCR进行图片识别
这篇文章主要为大家详细介绍了Windows下Java调用OCR进行图片识别，通过Tesseract-OCR对图片进行识别，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-12-12
解决SpringBoot整合MybatisPlus分模块管理遇到的bug
这篇文章主要介绍了解决SpringBoot整合MybatisPlus分模块管理遇到的bug，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2021-07-07
JAVA多线程与并发学习总结分析
以下是对小编对JAVA多线程与并发的学习进行了总结介绍，需要的朋友可以过来参考下
2013-08-08
SpringBoot与单元测试JUnit的结合操作
这篇文章主要介绍了SpringBoot与单元测试JUnit的结合操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2021-10-10
详解spring boot使用@Retryable来进行重处理
本篇文章主要介绍了详解spring boot使用@Retryable来进行重处理，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2017-06-06