脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → 云和虚拟化 → docker → Docker Apache Kafka环境

使用Docker搭建Apache Kafka环境的详细过程

 更新时间：2022年10月19日 11:27:03   作者：梦想画家  
这篇文章主要介绍了使用Docker搭建Apache Kafka环境,本文使用Docker技术创建单个Kafka节点和Kafka集群环境，并且使用可视化工具连接服务查看代理服务器的配置信息，需要的朋友可以参考下

Docker是最受欢迎的容器引擎之一，软件行业用于创建、打包、部署应用。本教程学习如何使用Docker搭建Apache Kafka。

安装单个节点

安装单节点Kafka代理需能够满足本地开发需求，我们首先学习单节点安装。

docker-compose.yml 配置

使用Apache Kafka服务，首先需要启动Zookeeper 服务。这可以通过在docker-compose.yml 文件配置依赖实现，但要确保Zookeeper服务总是在Kafka服务之前启动，反之zookeeper最后停止。

首先创建docker-compose.yml文件，增加两个服务：zookeeper和kafka：

version: '2'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:latest
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    ports:
      - 22181:2181
  
  kafka:
    image: confluentinc/cp-kafka:latest
    depends_on:
      - zookeeper
    ports:
      - 29092:29092
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:29092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1

Zookeeper服务监听2181端口为Kafka提供服务，但对于运行在本机的客户端，暴露的端口为22181.
类似的，kafka通过端口29092暴露给主机应用，但实际上在容器中的端口9092。有KAFKA_ADVERTISED_LISTENERS属性来配置。

下面通过使用命令启动容器、开启kafka服务：

$ docker-compose up -d
Creating network "kafka_default" with the default driver
Creating kafka_zookeeper_1 ... done
Creating kafka_kafka_1     ... done

下面通过nc命令严重两个服务正在监听各自的端口：

$ nc -z localhost 22181
Connection to localhost port 22181 [tcp/*] succeeded!
$ nc -z localhost 29092
Connection to localhost port 29092 [tcp/*] succeeded!

另外，也可以检查日志，当容器正在运行时验证kafka服务是否启动：

$ docker-compose logs kafka | grep -i started

可以看到Kafka服务已经启动。

最后可以使用Kafka Tool Gui 工具连接已安装的Kafka服务：

在这里插入图片描述

安装集群环境

生产环境需要更稳定的环境，下面扩展 docker-compose.yml文件创建多节点集群环境：

docker-compose.yml配置

集群安装需要zookeeper和Kafka有多个实例，下面为zookeeper和kafka增加多个服务：

---
version: '2'
services:
  zookeeper-1:
    image: confluentinc/cp-zookeeper:latest
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    ports:
      - 22181:2181

  zookeeper-2:
    image: confluentinc/cp-zookeeper:latest
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    ports:
      - 32181:2181
  
  kafka-1:
    image: confluentinc/cp-kafka:latest
    depends_on:
      - zookeeper-1
      - zookeeper-2

    ports:
      - 29092:29092
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:2181,zookeeper-2:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka-1:9092,PLAINTEXT_HOST://localhost:29092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
  kafka-2:
    image: confluentinc/cp-kafka:latest
    depends_on:
      - zookeeper-1
      - zookeeper-2
    ports:
      - 39092:39092
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:2181,zookeeper-2:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka-2:9092,PLAINTEXT_HOST://localhost:39092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1

必须要确保kafka服务名称唯一，通过KAFKA_BROKER_ID 属性设置。而且每个服务必须暴露唯一主机端口。虽然zookeeper-1 和 zookeeper-2 监听2181端口，但对于主机端口分别为 22181 和 32181。类似的，kafka-1 和 kafka-2 services对应主机端口分别为 29092 和 39092。

启动kafka集群

现在通过docker-compose命令启动集群：

$ docker-compose up -d
Creating network "kafka_default" with the default driver
Creating kafka_zookeeper-1_1 ... done
Creating kafka_zookeeper-2_1 ... done
Creating kafka_kafka-2_1     ... done
Creating kafka_kafka-1_1     ... done

启动完成，使用Kafka Tool连接集群，地址通过逗号分割只读多个zookeeper地址和端口：

总结

本文使用Docker技术创建单个Kafka节点和Kafka集群环境，并且使用可视化工具连接服务查看代理服务器的配置信息。

到此这篇关于使用Docker搭建Apache Kafka环境的文章就介绍到这了,更多相关Docker Apache Kafka环境内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Docker核心原理之 Cgroup详解

    Docker核心原理之 Cgroup详解

    cgroup的内核通过hook钩子来实现管理进程资源，提供了一个统一的接口，从单个进程的资源控制到操作系统层面的虚拟卡的过渡，今天通过本文给大家介绍Docker核心原理之 Cgroup详解，需要的朋友参考下吧
    2021-07-07
  • docker-registry使用笔记

    docker-registry使用笔记

    在国内docker-hub是肯定用不了的，不解释:所以最好还是建一个私有的docker-registry，存储一些常用的images方便随时pull
    2016-09-09
  • 详解Docker下使用Elasticsearch可视化Kibana

    详解Docker下使用Elasticsearch可视化Kibana

    本篇文章主要介绍了详解Docker下使用Elasticsearch可视化Kibana，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-04-04
  • 如何使用docker+frp进行内网穿透

    如何使用docker+frp进行内网穿透

    这篇文章主要介绍了使用docker+frp进行内网穿透,在公网上的ubuntu系统需要配置相关操作,本文给大家介绍的非常详细,需要的朋友可以参考下
    2024-04-04
  • docker firewalld 防火墙设置方式

    docker firewalld 防火墙设置方式

    在CentOS7中,Docker默认修改防火墙配置,可能导致手动添加的策略失效,解决方法包括启用firewalld,禁用Docker的iptables,并重新配置防火墙策略,具体步骤包括编辑/etc/docker/daemon.json文件,重启Docker服务,以及在firewalld中设置伪装地址和端口策略
    2024-10-10
  • 启动docker的时候如何把参数传递给docker里面的项目(推荐)

    启动docker的时候如何把参数传递给docker里面的项目(推荐)

    这篇文章主要介绍了启动docker的时候如何把参数传递给docker里面的项目,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2024-01-01
  • 云原生Docker容器自定义DNS解析

    云原生Docker容器自定义DNS解析

    Docker没有为每个容器专门定制镜像,那么怎么自定义配置容器的DNS配置呢?这篇文章主要给大家介绍了关于云原生Docker容器自定义DNS的相关资料,需要的朋友可以参考下
    2023-02-02
  • docker pure-ftp 搭建ftp服务器的方法

    docker pure-ftp 搭建ftp服务器的方法

    本篇文章主要介绍了docker pure-ftp 搭建ftp服务器的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-04-04
  • docker安装MinIO全过程

    docker安装MinIO全过程

    Minio是一个高性能的面向对象存储服务,使用Go语言编写,支持跨平台,本文介绍了如何使用Docker安装Minio,并通过配置用户名密码、创建Bucket和上传图片进行简单的存储操作
    2024-12-12
  • 如何通过Docker容器创建一个Web服务器

    如何通过Docker容器创建一个Web服务器

    这篇文章主要介绍了如何通过Docker容器创建一个Web服务器的相关资料,并对Nginx进行基本配置和测试,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2025-03-03

最新评论