linux contos6.8下部署kafka集群的方法

 更新时间:2018年07月02日 10:16:37   作者:wx5a82db587d976  
这篇文章主要介绍了linux contos6.8下部署kafka集群的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

有3台服务器,ip分别为192.168.174.10,192.168.174.11,192.168.174.12。

1、官网下载,分别在每台机器上解压安装

# 创建kafka的安装目录
mkdir -p /usr/local/software/kafka
# 解压
tar -xvf kafka_2.12-1.1.0.tgz -C /usr/local/software/kafka/

2、修改每台服务器的/etc/profile文件,设置kafka环境变量,添加如下内容

export KAFKA_HOME=/usr/local/software/kafka/kafka_2.12-1.1.0
export PATH=$PATH:$KAFKA_HOME/bin

添加完后重启配置,命令如下:

source /etc/profile

3、修改每台服务器的$KAFKA_HOME/config下的server.properties文件,修改代理id和日志存放目录

#指定代理id,borker.id可以任意指定,前提是保证集群内每台机器的broker.id唯一,第二台机器设置为2...以此类推
broker.id=1
#设置日志目录
log.dirs=/opt/data/kafka/kafka-logs
#设置zookeeper集群地址
zookeeper.connect=192.168.174.7:2181,192.168.174.8:2181,192.168.174.9:2181
#设置本机地址,设置为本服务器的ip地址。如果不设置会在创建主题和发送消息时,发生NOT LEADER FOR PARTITION异常。
host.name=192.168.174.10

4、配置完成后,分别启动3台服务器的kafka,启动kafka前确保zookeeper集群已经成功启动。

kafka-server-start.sh -daemon server.properties

5、验证是否成功启动

jps

如果看到kafka进程,说明启动成功。

另外也可通过zookeeper客户端查看zookeeper目录结构,如下:

#登录zookeeper
zkCli . sh -server 192.168.174.7:2181
#查看目录结构
ls /
#查看已启动的kafka代理
ls /brokers/ids

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • centos7中firewall防火墙命令详解

    centos7中firewall防火墙命令详解

    本篇文章主要介绍了centos7中firewall防火墙命令详解,具有一定的参考价值,有需要的可以了解一下。
    2016-11-11
  • Centos7安装FFmpeg音/视频工具简易文档

    Centos7安装FFmpeg音/视频工具简易文档

    这篇文章主要介绍了Centos7安装FFmpeg音/视频工具简易文档,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-02-02
  • centos6.5升级安装配置supervisor的教程

    centos6.5升级安装配置supervisor的教程

    Supervisor 是用Python开发的一个client/server服务,是Linux/Unix系统下的一个进程管理工具,不支持Windows系统。这篇文章主要介绍了centos6.5升级安装配置supervisor的方法,需要的朋友可以参考下
    2019-11-11
  • keeplive+mysql+drbd高可用架构安装步骤

    keeplive+mysql+drbd高可用架构安装步骤

    本地(master)与远程主机(backup)的保证实时同步,如果本地系统出现故障时,远程主机上还会保留有一份相同的数据,可以继续使用.在高可用(HA)中使用DRBD功能,可以代替使用一个共享盘阵.因为数据同时存在于本地主机和远程主机上,切换时,远程主机只要使用它上面的那份备份数据
    2017-08-08
  • Linux安装MongoDB启动及常见问题解决

    Linux安装MongoDB启动及常见问题解决

    这篇文章主要介绍了Linux安装MongoDB启动及问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-08-08
  • CentOS 6.5中SSH免密码登录配置教程

    CentOS 6.5中SSH免密码登录配置教程

    这篇文章主要介绍了CentOS 6.5中SSH免密码登录配置的相关资料,包括环境设置,本机生成公钥和私钥等知识点,本文给大家介绍的非常详细具有参考借鉴价值,需要的朋友可以参考下
    2016-10-10
  • Linux下安装Keepalived及原理分析

    Linux下安装Keepalived及原理分析

    这篇文章主要介绍了在Linux环境下安装Keepalived及原理分析,有兴趣的朋友学习参考下吧。
    2017-12-12
  • GTK treeview原理及使用方法解析

    GTK treeview原理及使用方法解析

    这篇文章主要介绍了GTK treeview原理及使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-09-09
  • linux下安装nodejs及npm的方法

    linux下安装nodejs及npm的方法

    本篇文章主要介绍了linux下安装nodejs及npm的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-06-06
  • Tomcat中的catalina.bat原理详细解析

    Tomcat中的catalina.bat原理详细解析

    这篇文章主要给大家详细介绍了关于Tomcat中catalina.bat的原理,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们可以参考借鉴,下面随着小编来一起学习学习下吧。
    2017-08-08

最新评论