Docker容器搭建Kafka集群的详细过程

更新时间：2022年03月20日 11:27:22 作者：愚公搬代码

这篇文章主要介绍了Docker容器 Kafka集群的搭建,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下

一、Kafka集群的搭建

1.拉取相关镜像

docker pull wurstmeister/kafka
docker pull zookeeper

2.运行zookeeper

docker run -d --name zookeeper -p 2181:2181 -t zookeeper

3.运行kafka

Kafka0：

docker run -d --name kafka0 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.16.129:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.16.129:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

Kafka1：

docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.16.129:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.16.129:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

Kafka2：

docker run -d --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=192.168.16.129:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.16.129:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka

参数说明：

-e KAFKA_BROKER_ID=0 在kafka集群中，每个kafka都有一个BROKER_ID来区分自己
-e KAFKA_ZOOKEEPER_CONNECT=10.20.8.50:2181/kafka 配置zookeeper管理kafka的路径10.20.8.50:2181/kafka
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.20.8.50:9092 把kafka的地址端口注册给zookeeper，如果是远程访问要改成外网IP。
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口：这个不能改
-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间

启动3个Kafka节点

4.设置topic

进入kafka0

docker exec -it kafka0 /bin/bash

进入bin目录

cd /opt/kafka_2.13-2.8.1/bin

创建topic

kafka-topics.sh --create --zookeeper 192.168.16.129:2181 --replication-factor 3 --partitions 5 --topic TestTopic

查看topic

kafka-topics.sh --describe --zookeeper 192.168.16.129:2181 --topic TestTopic

Kafka的topic所有分区会分散在不同Broker上，所以该topic的5个分区会被分散到3个Broker上，其中有两个Broker得到两个分区，另一个Broker只有1个分区，如图所示：

集群节点说明：

Topic: TestTopic PartitionCount: 5 ReplicationFactor:3代表TestTopic有5个分区，3个副本节点；
Topic: 代表主题名称
Leader代表主题节点号，
Replicas代表他的副本节点有Broker.id = 2、0、1（包括Leader Replica和Follower Replica，且不管是否存活），
Isr表示存活并且同步Leader节点的副本有Broker.id = 2、0、1

5.进行生产者和消费者测试

分别在Broker0上运行一个生产者，Broker1、2上分别运行一个消费者：

kafka-console-producer.sh --broker-list 192.168.16.129:9092 --topic TestTopic

kafka-console-consumer.sh --bootstrap-server 192.168.16.129:9093 --topic TestTopic --from-beginning

kafka-console-consumer.sh --bootstrap-server 192.168.16.129:9094 --topic TestTopic --from-beginning

到此这篇关于Docker容器 Kafka集群的搭建的文章就介绍到这了,更多相关Docker搭建Kafka集群内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

关于docker cgroups资源限制的问题
cgroups是一个非常强大的linux内核工具，他不仅可以限制被namespace隔离起来的资源，还可以为资源设置权重、计算使用量，这篇文章主要介绍了docker cgroups资源限制,需要的朋友可以参考下
2022-09-09
docker容器化部署及使用方式
这篇文章主要介绍了docker容器化部署及使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2024-01-01
Docker中Dockerfile之容器中运行MyEclipse搭建的JavaWeb项目
本篇文章主要介绍了Docker中Dockerfile之容器中运行MyEclipse搭建的JavaWeb项目，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-02-02
Docker查看容器IP地址的方法实现
本文主要介绍了Docker查看容器IP地址的方法实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-06-06
Docker上部署mysql8主从复制的实现
本文主要介绍了Docker上部署mysql8主从复制的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-08-08
云原生之使用Docker部署homer静态主页的方法步骤
本文主要介绍了云原生之使用Docker部署homer静态主页的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
2023-08-08
Docker Compose搭建Wordpress服务实现详解
这篇文章主要为大家介绍了Docker Compose搭建Wordpress服务实现详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-03-03
详解基于docker搭建lanproxy内网穿透服务
这篇文章主要介绍了详解基于docker搭建lanproxy内网穿透服务，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-04-04
Docker教程之使用dockerfile生成镜像
这篇文章主要介绍了Docker教程之使用dockerfile生成镜像的相关资料,需要的朋友可以参考下
2022-11-11
Docker多平台安装与配置指南的实现
这篇文章主要介绍了Docker多平台安装与配置指南的实现,深入研究了Docker在Linux、Windows、和macOS等不同平台上的安装过程及Docker镜像管理、容器运维、使用Docker Compose进行多容器管理,以及网络与数据管理等,感兴趣的可以了解一下
2024-01-01