Docker中部署flink集群的两种方式

更新时间：2024年02月20日 15:58:15 作者：尐葮阿譽

这篇文章主要介绍了Docker中部署flink集群的两种方式,本文将通过 2 种方式在 docker 中部署 flink standalone 集群,集群中共有 4 个节点,分别是 1 个 jobManager 节点和 3 个 taskManager 节点,需要的朋友可以参考下

一、概述

本文将通过 2 种方式在 docker 中部署 flink standalone 集群，集群中共有 4 个节点，分别是 1 个 jobManager 节点和 3 个 taskManager 节点。方式一能快速部署一个 flink 集群，但是使用的是默认配置，不够灵活，方式二使用的是外置配置文件，可以灵活控制集群配置。

二、准备工作

准备工作是方式一和方式二都需要执行的工作，准备工作很简单，就是用以下命令创建一个 flink 网络

docker network create flink-network

三、方式一

依次执行以下命令创建 flink 集群

docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 jobmanager
docker run -d --name flink-taskmanager1 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager
docker run -d --name flink-taskmanager2 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager
docker run -d --name flink-taskmanager3 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager

四、方式二

1、准备配置文件

1.1、复制默认的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名为 jobmanager-conf.yaml 并放在 /home/debo/dockerData/flink 目录下

jobmanager.rpc.address: flink-jobmanager
jobmanager.bind-host: 0.0.0.0
#taskmanager.bind-host: localhost
#taskmanager.host: localhost
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

1.2、复制默认的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名为 taskmanager1-conf.yaml 并放在 /home/debo/dockerData/flink 目录下

jobmanager.rpc.address: flink-jobmanager
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: flink-taskmanager1
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

1.3、复制默认的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名为 taskmanager2-conf.yaml 并放在 /home/debo/dockerData/flink 目录下

jobmanager.rpc.address: flink-jobmanager
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: flink-taskmanager2
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

1.4、复制默认的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名为 taskmanager3-conf.yaml 并放在 /home/debo/dockerData/flink 目录下

jobmanager.rpc.address: flink-jobmanager
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: flink-taskmanager3
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

2、执行 docker 命令

依次执行以下命令创建 flink 集群

docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/jobmanager-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 jobmanager
docker run -d --name flink-taskmanager1 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager1-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager
docker run -d --name flink-taskmanager2 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager2-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager
docker run -d --name flink-taskmanager3 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager3-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager

到此这篇关于Docker中部署flink集群的两种方式的文章就介绍到这了,更多相关Docker部署flink集群内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

详解如何基于Docker镜像逆向生成Dockerfile
这篇博客文章我们将通过使用一些开源工具,带领您逐步解读 Docker 镜像并转换为 Dockerfile 的过程,感兴趣的小伙伴可以跟随小编一起学习一下
2024-03-03
基于alpine用dockerfile创建的爬虫Scrapy镜像的实现
这篇文章主要介绍了基于alpine用dockerfile创建的爬虫Scrapy镜像的实现，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-12-12
基于Docker版本squid搭建代理服务器的过程详解
这篇文章主要介绍了基于Docker版本squid搭建代理服务器的配置方法,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下本文给大家介绍的非常详细
2024-03-03
如何完全清理你的Docker数据
Docker 不会对你的系统进行任何配置更改……但是它会占用大量的磁盘空间，那么如何完全清理你的数据，本文就详细的来介绍一下，感兴趣的可以了解一下
2021-07-07
Docker学习笔记之k8s部署方法
这篇文章主要介绍了Docker学习笔记之k8s部署方法,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-04-04
k8s官方镜像代理加速方式
这篇文章主要介绍了k8s官方镜像代理加速方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2024-06-06
Docker的镜像制作方法详解
这篇文章主要介绍了Docker的镜像制作方法的相关资料,文章讲解了Docker镜像的基本原理、结构和制作方式,镜像是创建Docker容器的基础,需要的朋友可以参考下
2024-10-10
Mac系统上用Docker搭建lamp环境
这篇文章主要给大家介绍了Mac系统上用Docker如何搭建lamp环境，文章给大家介绍的很详细，有需要的朋友们可以参考借鉴，下面来一起看看吧。
2016-12-12
docker安装nginx并配置ssl的方法步骤
本文主要介绍了docker安装nginx并配置ssl的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-03-03
docker如何删除<none>/dangling/悬空镜像
这篇文章主要介绍了docker如何删除<none>/dangling/悬空镜像问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-11-11