脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → Linux → Linux下Kafka分布式集群安装

Linux下Kafka分布式集群安装教程

 更新时间：2017年12月12日 10:56:57   作者：郭朝  
这篇文章主要为大家详细介绍了Linux下Kafka分布式集群安装教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

Kafka（http://kafka.apache.org/） 是由 LinkedIn 使用 Scala 编写的一个分布式消息系统，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础，具有高水平扩展和高吞吐量。Spack、Elasticsearch 都支持与 Kafka 集成。下面看一下几种分布式开源消息队列系统的对比：

Kafka 集群架构：

一般不建议直接使用 Kafka 自带的 Zookeeper 建立 zk 集群，这里我们使用独立的 zk 集群，zk 集群搭建参考文章 Linux下ZooKeeper分布式集群安装。

这里 Linux 选择 CentOS 7.2。

# cd /usr/local
# mkdir kafka
# cd kafka
# wget -P /usr/local/kafka http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
# tar -zxvf kafka_2.11-1.0.0.tgz
# mkdir kafka-logs

# cd kafka_2.11-1.0.0/config
# vim server.properties

编辑配置文件 (配置项可以参考 http://kafka.apache.org/documentation.html#brokerconfigs) 为：

# 唯一标识,0开始
broker.id=0

# 服务器端口和ip
port=9092
host.name=192.168.2.20
# 日志数据保存的目录
log.dirs=/usr/local/kafka/kafka-logs

log.retention.hours=168
# 每条消息能够容纳的最大大小,默认1000012
message.max.bytes=5242880
# 默认的副本因子,即保存消息的副本数,默认1
default.replication.factor=2
# 取消息的最大直接数,默认1048576
replica.fetch.max.bytes=5242880

# 配置zk地址
zookeeper.connect=192.168.20.11:2181,192.168.20.12:2181,192.168.20.13:2181

启动 Kafka 之前需启动 Zookeeper，然后启动 Kafka，各个节点需单独启动：

# cd /usr/local/kafka/kafka_2.11-1.0.0/bin
# ./kafka-server-start.sh -daemon ../config/server.properties //后台启动服务
# jps       //查看服务是否启动成功
# ./kafka-server-stop.sh  //关闭服务

最后我们在三台不同的服务器上各部署一个 Kafka 进程，以构成一个 Kafka 集群。开始使用可以参考官方文档 http://kafka.apache.org/documentation.html#quickstart。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Linux安装PHP MongoDB驱动

    Linux安装PHP MongoDB驱动

    在php中使用mongodb你必须使用 mongodb 的 php驱动。本文是小编在部署生产环境时候记录的笔记，特此分享到脚本之家平台供大家参考
    2016-11-11
  • 阿里云LNMP 云服务器重启后网站打不开解决方法

    阿里云LNMP 云服务器重启后网站打不开解决方法

    购入了阿里云云服务器之后，感觉十分满意，特别是阿里云的“快照”功能，对于折腾帝来说简直就是神器。云服务器随便弄，弄坏了大不了一个“回滚快照”，秒秒钟的事而已
    2013-06-06
  • CentOS 服务器安全配置策略

    CentOS 服务器安全配置策略

    近期服务器频繁有被暴力破解，大致分析了一下入侵行为，整理了常用的安全策略,需要的朋友可以参考下
    2019-11-11
  • 如何将CentOS7升级至CentOS8(详细步骤)

    如何将CentOS7升级至CentOS8(详细步骤)

    这篇文章主要介绍了如何将CentOS7升级至CentOS8(详细步骤)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-11-11
  • Linux系统中KafKa安装和使用方法 java客户端连接kafka过程

    Linux系统中KafKa安装和使用方法 java客户端连接kafka过程

    这篇文章主要介绍了Linux系统中KafKa安装和使用方法 java客户端连接kafka过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • 将你的Apache速度提高十倍的经验分享

    将你的Apache速度提高十倍的经验分享

    你知道吗，如果你的web server是采用apache那你就有机会通过安装一个软件模块提高你的网站访问速度，最大能有10倍之多！这可不是吹牛，你看看原理就明白了
    2013-04-04
  • 简单实现linux聊天室程序

    简单实现linux聊天室程序

    这篇文章主要介绍了简单实现linux聊天室程序的详细代码，帮助大家了解聊天室的实现原理，感兴趣的小伙伴们可以参考一下
    2015-12-12
  • Linux 下如何检查内存使用率

    Linux 下如何检查内存使用率

    这篇文章主要介绍了Linux 下如何检查内存使用率，帮助大家更好的理解和学习Linux，感兴趣的朋友可以了解下
    2020-08-08
  • Linux系统解压rar文件的操作步骤

    Linux系统解压rar文件的操作步骤

    这篇文章主要详细给大家介绍了Linux系统如何解压rar文件,文中通过代码示例给大家讲解的非常详细,对大家的学习或工作有一定的帮助,需要的朋友可以参考下
    2023-12-12
  • Apache Commons DbUtils工具包使用介绍

    Apache Commons DbUtils工具包使用介绍

    这篇文章主要介绍了Apache Commons DbUtils工具包使用介绍,本文介绍了DBUtils是什么东西、熟悉DBUtils的一些问题、API介绍等内容,需要的朋友可以参考下
    2015-03-03

最新评论