Linux下Kafka分布式集群安装教程

 更新时间:2017年12月12日 10:56:57   作者:郭朝  
这篇文章主要为大家详细介绍了Linux下Kafka分布式集群安装教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

Kafka(http://kafka.apache.org/) 是由 LinkedIn 使用 Scala 编写的一个分布式消息系统,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础,具有高水平扩展和高吞吐量。Spack、Elasticsearch 都支持与 Kafka 集成。下面看一下几种分布式开源消息队列系统的对比:

Kafka 集群架构:

一般不建议直接使用 Kafka 自带的 Zookeeper 建立 zk 集群,这里我们使用独立的 zk 集群,zk 集群搭建参考文章 Linux下ZooKeeper分布式集群安装

这里 Linux 选择 CentOS 7.2。

# cd /usr/local
# mkdir kafka
# cd kafka
# wget -P /usr/local/kafka http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
# tar -zxvf kafka_2.11-1.0.0.tgz
# mkdir kafka-logs

# cd kafka_2.11-1.0.0/config
# vim server.properties

编辑配置文件 (配置项可以参考 http://kafka.apache.org/documentation.html#brokerconfigs) 为:

# 唯一标识,0开始
broker.id=0

# 服务器端口和ip
port=9092
host.name=192.168.2.20
# 日志数据保存的目录
log.dirs=/usr/local/kafka/kafka-logs

log.retention.hours=168
# 每条消息能够容纳的最大大小,默认1000012
message.max.bytes=5242880
# 默认的副本因子,即保存消息的副本数,默认1
default.replication.factor=2
# 取消息的最大直接数,默认1048576
replica.fetch.max.bytes=5242880

# 配置zk地址
zookeeper.connect=192.168.20.11:2181,192.168.20.12:2181,192.168.20.13:2181

启动 Kafka 之前需启动 Zookeeper,然后启动 Kafka,各个节点需单独启动:

# cd /usr/local/kafka/kafka_2.11-1.0.0/bin
# ./kafka-server-start.sh -daemon ../config/server.properties //后台启动服务
# jps       //查看服务是否启动成功
# ./kafka-server-stop.sh  //关闭服务

最后我们在三台不同的服务器上各部署一个 Kafka 进程,以构成一个 Kafka 集群。开始使用可以参考官方文档 http://kafka.apache.org/documentation.html#quickstart

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • xampp安装后apache 80端口被占用的解决方法

    xampp安装后apache 80端口被占用的解决方法

    这篇文章主要介绍了xampp安装后apache 80端口被占用的解决方法,大家参考使用吧
    2013-12-12
  • 25个 Git 进阶技巧(翻译)

    25个 Git 进阶技巧(翻译)

    这篇文章主要介绍了25个 Git 进阶技巧(翻译),需要的朋友可以参考下
    2015-05-05
  • Centos 5下配置https服务器的方法

    Centos 5下配置https服务器的方法

    Centos 5下配置https服务器的步骤,需要的朋友可以参考下。
    2010-07-07
  • Linux中的iostat命令使用教程

    Linux中的iostat命令使用教程

    这篇文章主要给大家介绍了关于Linux中iostat命令的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-01-01
  • linux下安装mongodb教程

    linux下安装mongodb教程

    MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。这篇文章主要介绍了linux下安装mongodb,需要的朋友可以参考下
    2019-12-12
  • haproxy+keepalived实现高可用负载均衡(理论篇)

    haproxy+keepalived实现高可用负载均衡(理论篇)

    软件负载均衡一般通过两种方式来实现:基于操作系统的软负载实现和基于第三方应用的软负载实现。LVS就是基于Linux操作系统实现的一种软负载,HAProxy就是开源的并且基于第三应用实现的软负载
    2013-01-01
  • linux chroot命令详解

    linux chroot命令详解

    这篇文章主要介绍了linux chroot命令详解,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-03-03
  • 在Linux中使用MD5实现用户验证的解决方法

    在Linux中使用MD5实现用户验证的解决方法

    本篇文章小编为大家介绍,在Linux中使用MD5实现用户验证的解决方法。需要的朋友参考下
    2013-04-04
  • Apache Web服务器的完全安装指南

    Apache Web服务器的完全安装指南

    本文讨论如何安装支持mod_perl、mod_ssl及php的apache web服务器,并安装webalizer实现对web访进行日志分析。手把手引导初学者编辑一个安全、功能完备的web服务器系统。
    2010-12-12
  • centos7 设置grub密码及单用户登录实例代码

    centos7 设置grub密码及单用户登录实例代码

    这篇文章主要介绍了centos7 设置grub密码及单用户登录实例代码,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-11-11

最新评论