脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → 云和虚拟化 → docker → docker 部署Flink

docker 部署Flink和传统部署的详细过程

 更新时间：2025年11月24日 12:06:01   作者：❀͜͡傀儡师  
Flink是一个开源的分布式流处理框架,支持状态管理、事件时间、窗口模型等特性,可以通过下载、解压、配置和启动来使用,提供了多种运行方式,包括Docker和SQLClient,本文介绍docker部署Flink和传统部署的详细过程,感兴趣的朋友跟随小编一起看看吧

简单介绍

Flink 是一个开源的、分布式的、高性能的流处理框架，主要特性有：状态管理与容错，事件时间与水位线，先进的窗口模型，轻量级的分布式快照，端到端的精确一次交付，流批一体与统一的 API，复杂的流处理拓扑与高级 API（侧输出，CEP：复杂事件处理库，Table API & SQL）等
下载地址: https://mirrors.aliyun.com/apache/flink/ z根据需求选版本

下载安装包

https://mirrors.aliyun.com/apache/flink/flink-1.20.3/flink-1.20.3-bin-scala_2.12.tgz

解压

tra -zxf flink-1.20.3-bin-scala_2.12.tgz

修改配置文件

jobmanager.rpc.address: master
jobmanager.rpc.port: 6123
jobmanager.bind-host: 0.0.0.0
jobmanager.memory.process.size: 1600m
taskmanager.bind-host: 0.0.0.0
taskmanager.host: master
taskmanager.memory.process.size: 1728m
taskmanager.numberOfTaskSlots: 2
parallelism.default: 2
jobmanager.execution.failover-strategy: region
rest.address: localhost
rest.bind-address: 0.0.0.0

启动

bin/start-cluster.sh

登录首页： http://192.168.115.102:8081

Docker Run

拉取镜像

x86架构
docker pull registry.cn-hangzhou.aliyuncs.com/qiluo-images/flink
arm架构
docker pull registry.cn-hangzhou.aliyuncs.com/qiluo-images/linux_arm64_flink
  1. 创建网络
docker network create flink-network
  1. 启动JobManager
docker run -d \
  --name=flink-jobmanager \
  --network=flink-network \
  -p 8081:8081 \
  -e FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" \
  -v /data/flink:/opt/flink/data \
  registry.cn-hangzhou.aliyuncs.com/qiluo-images/flink \
  jobmanager
  1. 启动TaskManager
docker run -d \
  --name=flink-taskmanager \
  --network=flink-network \
  -e FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" \
  -v /data/flink:/opt/flink/data \
  registry.cn-hangzhou.aliyuncs.com/qiluo-images/flink \
  taskmanager

带依赖的完整版本
docker-compose-full.yml

version: "3.8"
services:
  jobmanager:
    image: registry.cn-hangzhou.aliyuncs.com/qiluo-images/flink
    container_name: jobmanager
    ports:
      - "8081:8081"
      - "6123:6123"
    command: jobmanager
    environment:
      - FLINK_PROPERTIES=jobmanager.rpc.address: jobmanager
    volumes:
      - ./data/jobmanager:/opt/flink/data
      - ./logs/jobmanager:/opt/flink/log
      - ./apps:/opt/flink/apps
    networks:
      - flink-network
  taskmanager:
    image: flink:1.17.2
    container_name: taskmanager
    depends_on:
      - jobmanager
    command: taskmanager
    scale: 2
    environment:
      - FLINK_PROPERTIES=jobmanager.rpc.address: jobmanager
      - TASK_MANAGER_NUMBER_OF_TASK_SLOTS=4
    volumes:
      - ./data/taskmanager:/opt/flink/data
      - ./logs/taskmanager:/opt/flink/log
      - ./apps:/opt/flink/apps
    networks:
      - flink-network
  zookeeper:
    image: registry.cn-hangzhou.aliyuncs.com/qiluo-images/zookeeper
    container_name: zookeeper
    environment:
      - ALLOW_ANONYMOUS_LOGIN=yes
    ports:
      - "2181:2181"
    networks:
      - flink-network
  kafka:
    image: registry.cn-hangzhou.aliyuncs.com/qiluo-images/kafka
    container_name: kafka
    depends_on:
      - zookeeper
    environment:
      - KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092
      - ALLOW_PLAINTEXT_LISTENER=yes
    ports:
      - "9092:9092"
    networks:
      - flink-network
networks:
  flink-network:
    driver: bridge
volumes:
  flink-data:

使用SQL Client的完整环境
docker-compose-sql.yml

version: "3.8"
services:
  jobmanager:
    image: registry.cn-hangzhou.aliyuncs.com/qiluo-images/flink
    container_name: flink-jobmanager
    ports:
      - "8081:8081"
      - "6123:6123"
    command: jobmanager
    environment:
      - FLINK_PROPERTIES=
          jobmanager.rpc.address: jobmanager
          taskmanager.numberOfTaskSlots: 4
          parallelism.default: 2
    volumes:
      - ./data/jobmanager:/opt/flink/data
      - ./logs/jobmanager:/opt/flink/log
    networks:
      - flink-network
  taskmanager:
    image: registry.cn-hangzhou.aliyuncs.com/qiluo-images/flink
    container_name: flink-taskmanager
    depends_on:
      - jobmanager
    command: taskmanager
    scale: 2
    environment:
      - FLINK_PROPERTIES=
          jobmanager.rpc.address: jobmanager
          taskmanager.numberOfTaskSlots: 4
          parallelism.default: 2
    volumes:
      - ./data/taskmanager:/opt/flink/data
      - ./logs/taskmanager:/opt/flink/log
    networks:
      - flink-network
  sql-client:
    image: registry.cn-hangzhou.aliyuncs.com/qiluo-images/flink
    container_name: flink-sql-client
    depends_on:
      - jobmanager
    command: |
      bash -c "
      echo 'Waiting for Flink cluster to be ready...'
      while ! nc -z jobmanager 8081; do
        sleep 1
      done
      echo 'Starting SQL Client...'
      ./bin/sql-client.sh"
    volumes:
      - ./sql-scripts:/opt/flink/sql-scripts
    networks:
      - flink-network
    tty: true
    stdin_open: true
networks:
  flink-network:
    driver: bridge

到此这篇关于docker 部署Flink和传统部署的详细过程的文章就介绍到这了,更多相关docker 部署Flink内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • docker安装单机版kafka并使用的详细步骤

    docker安装单机版kafka并使用的详细步骤

    这篇文章主要为大家详细介绍了docker安装单机版kafka并使用的详细步骤,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2025-06-06
  • Docker如何使用nginx搭建tomcat集群(图文详解)

    Docker如何使用nginx搭建tomcat集群(图文详解)

    这篇文章主要介绍了Docker使用nginx搭建tomcat集群的教程,本文图文并茂给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
    2019-12-12
  • 私有云存储Minio Docker镜像无法启动,提示:Adding local Minio host to 'mc' configuration

    私有云存储Minio Docker镜像无法启动,提示:Adding local Minio

    使用Minio在本地搭建私有云存储时出现无法启动,查看日志频繁输出“Adding local Minio host to 'mc' configuration...”,然后停止了,本文给大家分享私有云存储Minio Docker镜像无法启动,提示：Adding local Minio host to 'mc' configuration,感兴趣的朋友一起看看吧
    2023-11-11
  • docker+Nginx部署前端项目的详细过程记录

    docker+Nginx部署前端项目的详细过程记录

    docker的出现解决了我们很多问题,让我们避免陷入各种依赖安装的痛苦中,下面这篇文章主要给大家介绍了关于docker+Nginx部署前端项目的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-10-10
  • windows 10安装和使用docker

    windows 10安装和使用docker

    这篇文章介绍了windows 10安装和使用docker的方法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2022-07-07
  • 解决docker容器重启之后/etc下某些配置文件被重置的问题

    解决docker容器重启之后/etc下某些配置文件被重置的问题

    这篇文章主要介绍了解决docker容器重启之后/etc下某些配置文件被重置的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03
  • Docker 磁盘占用分析和清理方法示例小结

    Docker 磁盘占用分析和清理方法示例小结

    本文介绍Docker磁盘占用分析与清理方法,涵盖镜像、容器、卷及构建缓存的资源排查,提供清理未使用资源的命令及选项,如docker system prune和docker image prune,并解释悬空镜像的产生原因及处理技巧,感兴趣的朋友一起看看吧
    2025-07-07
  • Docker 私有仓库恢复实例详解

    Docker 私有仓库恢复实例详解

    这篇文章主要介绍了Docker 私有仓库恢复实例详解的相关资料,这里提供了详细的实现步骤，及注意事项，完成docker私有仓库的恢复，需要的朋友可以参考下
    2016-11-11
  • docker存储目录迁移示例教程

    docker存储目录迁移示例教程

    随着docker的使用时间越来越长，导致镜像和容器越来越多，占满了系统盘空间，这时，我们需要给它们搬个家了，这篇文章主要介绍了docker存储目录迁移教程,需要的朋友可以参考下
    2023-06-06
  • Docker部署SearXNG的方法(宝塔面板为例)

    Docker部署SearXNG的方法(宝塔面板为例)

    SearXNG 是一款开源的元搜索引擎,通过聚合 Google、Bing、维基百科等 240+ 主流搜索引擎的结果,为用户提供无追踪、去中心化的搜索体验,本文以宝塔面板为例详细介绍SearXNG docker部署方法,感兴趣的朋友一起看看吧
    2025-08-08

最新评论