脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → 云和虚拟化 → docker → Docker部署flink集群

Docker中部署flink集群的两种方式

 更新时间：2024年02月20日 15:58:15   作者：尐葮阿譽  
这篇文章主要介绍了Docker中部署flink集群的两种方式,本文将通过 2 种方式在 docker 中部署 flink standalone 集群,集群中共有 4 个节点,分别是 1 个 jobManager 节点和 3 个 taskManager 节点,需要的朋友可以参考下

一、概述

本文将通过 2 种方式在 docker 中部署 flink standalone 集群，集群中共有 4 个节点，分别是 1 个 jobManager 节点和 3 个 taskManager 节点。方式一能快速部署一个 flink 集群，但是使用的是默认配置，不够灵活，方式二使用的是外置配置文件，可以灵活控制集群配置。

二、准备工作

准备工作是方式一和方式二都需要执行的工作，准备工作很简单，就是用以下命令创建一个 flink 网络

docker network create flink-network

三、方式一

依次执行以下命令创建 flink 集群

docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 jobmanager
docker run -d --name flink-taskmanager1 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager
docker run -d --name flink-taskmanager2 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager
docker run -d --name flink-taskmanager3 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager

四、方式二

1、准备配置文件

1.1、复制默认的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名为 jobmanager-conf.yaml 并放在 /home/debo/dockerData/flink 目录下

jobmanager.rpc.address: flink-jobmanager
jobmanager.bind-host: 0.0.0.0
#taskmanager.bind-host: localhost
#taskmanager.host: localhost
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

1.2、复制默认的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名为 taskmanager1-conf.yaml 并放在 /home/debo/dockerData/flink 目录下

jobmanager.rpc.address: flink-jobmanager
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: flink-taskmanager1
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

1.3、复制默认的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名为 taskmanager2-conf.yaml 并放在 /home/debo/dockerData/flink 目录下

jobmanager.rpc.address: flink-jobmanager
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: flink-taskmanager2
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

1.4、复制默认的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名为 taskmanager3-conf.yaml 并放在 /home/debo/dockerData/flink 目录下

jobmanager.rpc.address: flink-jobmanager
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: flink-taskmanager3
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

2、执行 docker 命令

依次执行以下命令创建 flink 集群

docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/jobmanager-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 jobmanager
docker run -d --name flink-taskmanager1 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager1-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager
docker run -d --name flink-taskmanager2 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager2-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager
docker run -d --name flink-taskmanager3 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager3-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager

到此这篇关于Docker中部署flink集群的两种方式的文章就介绍到这了,更多相关Docker部署flink集群内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • kali安装docker及搭建漏洞环境的详细教程

    kali安装docker及搭建漏洞环境的详细教程

    Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，本文重点给大家介绍kali安装docker及搭建漏洞环境的过程，感兴趣的朋友一起看看吧
    2022-05-05
  • 如何使用docker compose 部署ELK 8.X及监控

    如何使用docker compose 部署ELK 8.X及监控

    这篇文章主要介绍了如何使用docker compose 部署ELK 8.X及监控,包括前置环境配置及docker compose启动/停止的命令,感兴趣的朋友跟随小编一起看看吧
    2023-10-10
  • 树莓派3B+安装64位ubuntu系统和docker工具的操作步骤详解

    树莓派3B+安装64位ubuntu系统和docker工具的操作步骤详解

    这篇文章主要介绍了树莓派3B+安装64位ubuntu系统和docker工具,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2020-09-09
  • Docker上实现Redis集群搭建

    Docker上实现Redis集群搭建

    redis集群对于很多人来说非常熟悉，虽然集群搭建的文章在网上很多，但是今天给大家介绍的是在docker上实现Redis集群搭建，感兴趣的可以了解下
    2021-05-05
  • 使用Docker部署openGauss国产数据库的操作方法

    使用Docker部署openGauss国产数据库的操作方法

    openGauss是一款支持SQL2003标准语法，支持主备部署的高可用关系型数据库，这篇文章主要介绍了使用Docker部署openGauss国产数据库,需要的朋友可以参考下
    2022-10-10
  • Docker容器网络端口配置过程详解

    Docker容器网络端口配置过程详解

    这篇文章主要介绍了Docker容器网络端口配置过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-10-10
  • Docker Compose容器编排深度解析与实战小结

    Docker Compose容器编排深度解析与实战小结

    Docker Compose 是 Docker 官方推出的开源项目,用于定义和运行多个 Docker 容器的应用工具,简化了多容器应用的部署和管理,本文介绍Docker Compose：容器编排深度解析与实战指南,感兴趣的朋友一起看看吧
    2025-12-12
  • docker容器如何配置hosts文件问题

    docker容器如何配置hosts文件问题

    这篇文章主要介绍了docker容器如何配置hosts文件问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-01-01
  • docker 容器中安装mysql服务的方法

    docker 容器中安装mysql服务的方法

    这篇文章主要介绍了docker容器中安装mysql服务的方法，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-07-07
  • docker 安装 zeppeline的操作

    docker 安装 zeppeline的操作

    Zeppelin是基于Jupyter Notebook技术开发的大数据交互分析服务软件。接下来通过本文给大家介绍docker 安装 zeppeline的相关知识，感兴趣的朋友一起看看吧
    2022-01-01

最新评论