docker使用dockercompose编排一个Hadoop集群方式

更新时间：2024年01月17日 16:42:52 作者：大鹏blog

这篇文章主要介绍了docker使用dockercompose编排一个Hadoop集群方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

使用dockercompose编排一个Hadoop集群

本文使用docker-compose 最简单的方式编排一个Hadoop集群

运行脚本文件

version: "3"

services:
  namenode:
    image: bde2020/hadoop-namenode:2.0.0-hadoop3.1.2-java8
    container_name: namenode
    ports:
      - 9870:9870
    volumes:
      - hadoop_namenode:/hadoop/dfs/name
    environment:
      - CLUSTER_NAME=test
    env_file:
      - ./hadoop.env

  datanode:
    image: bde2020/hadoop-datanode:2.0.0-hadoop3.1.2-java8
    container_name: datanode
    volumes:
      - hadoop_datanode:/hadoop/dfs/data
    environment:
      SERVICE_PRECONDITION: "namenode:9870"
    env_file:
      - ./hadoop.env
  
  resourcemanager:
    image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.1.2-java8
    container_name: resourcemanager
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864"
    env_file:
      - ./hadoop.env

  nodemanager1:
    image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.1.2-java8
    container_name: nodemanager
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
    env_file:
      - ./hadoop.env
  
  historyserver:
    image: bde2020/hadoop-historyserver:2.0.0-hadoop3.1.2-java8
    container_name: historyserver
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
    volumes:
      - hadoop_historyserver:/hadoop/yarn/timeline
    env_file:
      - ./hadoop.env
  
volumes:
  hadoop_namenode:
  hadoop_datanode:
  hadoop_historyserver:

运行方式

docker-compose up

运行

wordcount job
make wordcount

配置环境变量

配置参数可以在hadoop.env文件中指定

也可以作为特定服务（如namenode、datanode等）的环境变量指定：

可用配置包括

/etc/hadoop/core-site.xml CORE_CONF
/etc/hadoop/hdfs-site.xml HDFS_CONF
/etc/hadoop/yarn-site.xml YARN_CONF
/etc/hadoop/httpfs-site.xml HTTPFS_CONF
/etc/hadoop/kms-site.xml KMS_CONF
/etc/hadoop/mapred-site.xml MAPRED_CONF

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

docker部署mysql 实现远程连接的示例代码
这篇文章主要介绍了docker部署mysql 实现远程连接的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-09-09
Docker部署nGrinder性能测试平台过程解析
这篇文章主要介绍了Docker部署nGrinder性能测试平台过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-11-11
Docker配置国内加速器加速镜像下载的方法
本篇文章主要介绍了Docker配置国内加速器加速镜像下载的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2017-07-07
解决docker启动容器失败:cannot access‘/docker-entrypoint-initdb.d/‘:
这篇文章主要介绍了解决docker启动容器失败:cannot access‘/docker-entrypoint-initdb.d/‘:Operation not permitted,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2024-05-05
Windows Docker端口占用错误及解决方案总结
在 Windows 环境下使用 Docker 容器时,端口占用错误是开发和运维中常见且棘手的问题,本文将深入剖析该问题的成因,介绍如何通过查看端口分配,合理调整动态端口范围,以及重启网络服务等实用技巧,有效解决 Windows Docker 端口占用错误,需要的朋友可以参考下
2025-04-04
docker中CMD和ENTRYPOINT区别
本文主要介绍了docker中CMD和ENTRYPOINT区别，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-04-04
docker pull命令拉取镜像失败的解决方案
本文介绍了docker pull命令拉取镜像失败的解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
2024-11-11
docker-compose教程之安装使用和快速入门
这篇文章主要介绍了docker-compose教程之安装使用和快速入门，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-01-01
Docker部署RocketMQ的实现示例
本文主要介绍了Docker部署RocketMQ的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
2024-10-10
docker修改容器配置文件的3种方法总结
有时候可能需要修改运行在docker容器中的nginx的配置文件,或者其他一些已经运行和启动很久的容器中的配置文件,下面这篇文章主要给大家介绍了关于docker修改容器配置文件的3种方法,需要的朋友可以参考下
2022-04-04