脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → Hadoop安装和WordCount程序

如何安装Hadoop并运行WordCount程序

 更新时间：2025年05月14日 10:26:09   作者：依年南台  
这篇文章主要介绍了如何安装Hadoop并运行WordCount程序,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧

一、安装 Java

Hadoop 依赖 Java，首先需要安装 Java 开发工具包（JDK）。以 Ubuntu 为例：

sudo apt update
sudo apt install openjdk-8-jdk

安装后，设置环境变量：

echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc
source ~/.bashrc

二、安装 Hadoop

下载 Hadoop：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop

配置环境变量：

echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

配置 Hadoop： core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml：

xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/data/datanode</value>
    </property>
</configuration>

三、启动 Hadoop

格式化 NameNode：

hdfs namenode -format

启动 HDFS 和 YARN：

start-dfs.sh
start-yarn.sh

验证服务：
访问 http://localhost:9870 查看 HDFS 界面，http://localhost:8088 查看 YARN 界面。

四、运行 WordCount 程序

准备输入数据：

echo "Hello Hadoop World" > input.txt
hdfs dfs -mkdir -p /user/input
hdfs dfs -put input.txt /user/input

执行 WordCount：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/input /user/output

查看结果：

hdfs dfs -cat /user/output/part-r-00000

到此这篇关于如何安装Hadoop并运行WordCount程序的文章就介绍到这了,更多相关Hadoop安装和WordCount程序内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Spring动态多数据源配置实例Demo

    Spring动态多数据源配置实例Demo

    本篇文章主要介绍了Spring动态多数据源配置实例Demo，具有一定的参考价值，有兴趣的可以了解一下。
    2017-01-01
  • Java的关键字之transient详解

    Java的关键字之transient详解

    这篇文章主要介绍了Java的关键字之transient详解,在Java编程中,transient是一个关键字,通常用于修饰变量,它的主要作用是用于指示JVM在对象序列化时忽略指定变量,从而避免数据泄露的安全问题,需要的朋友可以参考下
    2023-09-09
  • java 出现问题javax.servlet.http.HttpServlet was not found解决方法

    java 出现问题javax.servlet.http.HttpServlet was not found解决方法

    这篇文章主要介绍了java 出现问题javax.servlet.http.HttpServlet was not found解决方法的相关资料,需要的朋友可以参考下
    2016-11-11
  • SpringBoot中AOP的动态匹配和静态匹配详解

    SpringBoot中AOP的动态匹配和静态匹配详解

    这篇文章主要介绍了SpringBoot中AOP的动态匹配和静态匹配详解,在创建代理的时候对目标类的每个连接点使用静态切点检查,如果仅通过静态切点检查就可以知道连接点是不匹配的,则在运行时就不再进行动态检查了,需要的朋友可以参考下
    2023-09-09
  • Java使用for循环解决经典的鸡兔同笼问题示例

    Java使用for循环解决经典的鸡兔同笼问题示例

    这篇文章主要介绍了Java使用for循环解决经典的鸡兔同笼问题,结合实例形式分析了Java巧妙使用流程控制语句for循环解决鸡兔同笼问题相关操作技巧,需要的朋友可以参考下
    2018-05-05
  • Mybatis中关于自定义mapper.xml时,参数传递的方式及写法

    Mybatis中关于自定义mapper.xml时,参数传递的方式及写法

    这篇文章主要介绍了Mybatis中关于自定义mapper.xml时,参数传递的方式及写法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-12-12
  • SpringCloud中的Feign远程调用接口传参失败问题

    SpringCloud中的Feign远程调用接口传参失败问题

    这篇文章主要介绍了SpringCloud中的Feign远程调用接口传参失败问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2022-03-03
  • Java SpringBoot集成ChatGPT实现AI聊天

    Java SpringBoot集成ChatGPT实现AI聊天

    ChatGPT已经组件放开了，现在都可以基于它写插件了，也许可以用它结合文字语音开发一个老人小孩需要的智能的说话陪伴啥的，这篇文章就介绍SpringBoot结合ChatGPT实现AI聊天感兴趣的同学可以借鉴一下
    2023-04-04
  • Java基础:流Stream详解

    Java基础:流Stream详解

    Stream流是数据渠道，用于操作数据源（集合、数组等）所生成的元素序列。这篇文章主要介绍了Java8新特性Stream流的相关资料，需要的朋友参考下吧
    2021-09-09
  • java报错:“错误：编码GBK 的不可映射字符”解决办法

    java报错:“错误：编码GBK 的不可映射字符”解决办法

    当Java源代码中包含中文字符时,我们在用javac编译时会出现“错误：编码GBK的不可映射字符”,这篇文章主要给大家介绍了关于java报错:“错误：编码GBK 的不可映射字符”的解决办法,需要的朋友可以参考下
    2024-08-08

最新评论