Zookeeper 单机环境和集群环境搭建
一、单机环境搭建#
1.1 下载#
下载对应版本 Zookeeper,这里我下载的版本 3.4.14。官方下载地址:https://archive.apache.org/dist/zookeeper/
# wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
1.2 解压#
# tar -zxvf zookeeper-3.4.14.tar.gz
1.3 配置环境变量#
# vim /etc/profile
添加环境变量:
export ZOOKEEPER_HOME=/usr/app/zookeeper-3.4.14 export PATH=$ZOOKEEPER_HOME/bin:$PATH
使得配置的环境变量生效:
# source /etc/profile
1.4 修改配置#
进入安装目录的 conf/ 目录下,拷贝配置样本并进行修改:
# cp zoo_sample.cfg zoo.cfg
指定数据存储目录和日志文件目录(目录不用预先创建,程序会自动创建),修改后完整配置如下:
# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=/usr/local/zookeeper/data dataLogDir=/usr/local/zookeeper/log # the port at which the clients will connect clientPort=2181 # the maximum number of client connections. # increase this if you need to handle more clients #maxClientCnxns=60 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1
配置参数说明:
•tickTime:用于计算的基础时间单元。比如 session 超时:N*tickTime;
•initLimit:用于集群,允许从节点连接并同步到 master 节点的初始化连接时间,以 tickTime 的倍数来表示;
•syncLimit:用于集群, master 主节点与从节点之间发送消息,请求和应答时间长度(心跳机制);
•dataDir:数据存储位置;
•dataLogDir:日志目录;
•clientPort:用于客户端连接的端口,默认 2181
1.5 启动#
由于已经配置过环境变量,直接使用下面命令启动即可:
zkServer.sh start
1.6 验证#
使用 JPS 验证进程是否已经启动,出现 QuorumPeerMain 则代表启动成功。
[root@hadoop001 bin]# jps 3814 QuorumPeerMain
二、集群环境搭建#
为保证集群高可用,Zookeeper 集群的节点数最好是奇数,最少有三个节点,所以这里演示搭建一个三个节点的集群。这里我使用三台主机进行搭建,主机名分别为 hadoop001,hadoop002,hadoop003。
2.1 修改配置#
解压一份 zookeeper 安装包,修改其配置文件 zoo.cfg,内容如下。之后使用 scp 命令将安装包分发到三台服务器上:
tickTime=2000 initLimit=10 syncLimit=5 dataDir=/usr/local/zookeeper-cluster/data/ dataLogDir=/usr/local/zookeeper-cluster/log/ clientPort=2181 # server.1 这个1是服务器的标识,可以是任意有效数字,标识这是第几个服务器节点,这个标识要写到dataDir目录下面myid文件里 # 指名集群间通讯端口和选举端口 server.1=hadoop001:2287:3387 server.2=hadoop002:2287:3387 server.3=hadoop003:2287:3387
2.2 标识节点#
分别在三台主机的 dataDir 目录下新建 myid 文件,并写入对应的节点标识。Zookeeper 集群通过 myid 文件识别集群节点,并通过上文配置的节点通信端口和选举端口来进行节点通信,选举出 Leader 节点。
创建存储目录:
# 三台主机均执行该命令 mkdir -vp /usr/local/zookeeper-cluster/data/
创建并写入节点标识到 myid 文件:
# hadoop001主机 echo "1" > /usr/local/zookeeper-cluster/data/myid # hadoop002主机 echo "2" > /usr/local/zookeeper-cluster/data/myid # hadoop003主机 echo "3" > /usr/local/zookeeper-cluster/data/myid
2.3 启动集群#
分别在三台主机上,执行如下命令启动服务:
/usr/app/zookeeper-cluster/zookeeper/bin/zkServer.sh start
2.4 集群验证#
启动后使用 zkServer.sh status 查看集群各个节点状态。如图所示:三个节点进程均启动成功,并且 hadoop002 为 leader 节点,hadoop001 和 hadoop003 为 follower 节点。
更多大数据系列文章可以参见 GitHub 开源项目:大数据入门指南
总结
以上所述是小编给大家介绍的Zookeeper 单机环境和集群环境搭建,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
相关文章
配置Memcache服务器并实现主从复制功能(repcached)
repcached是日本人开发的实现memcached复制功能,它是一个单 master单 slave的方案,但它的 master/slave都是可读写的,而且可以相互同步,如果 master坏掉, slave侦测到连接断了,它会自动 listen而成为 master2012-03-03网站控制台directadmin中文手册 Linux下虚拟主机管理
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系2009-11-11startssl申请SSL证书 并且配置 iis 启用https协议
这篇文章主要介绍了startssl申请SSL证书 并且配置 iis 启用https协议,需要的朋友可以参考下2017-03-03ibmx335/ibmx336服务器做RAID阵列的图文方法(包括删除RAID阵列)
X服务器中有一些集成LSI SCSI控制器的机型,在开机自检时按CTRL C可以配置两个硬盘的镜像。但是当升级BIOS之后,CTRL C中的一些设置发生了变化,配置方法也较以前的版本有些差异2012-06-06详解如何在IntelliJ IDEA中使用.ignore插件忽略不必要提交的文件
这篇文章主要介绍了详解如何在IntelliJ IDEA中使用.ignore插件忽略不必要提交的文件,具有一定的参考价值,感兴趣的小伙伴们可以参考一下2017-11-11采用软件负载均衡器实现web服务器集群(iis+nginx)
我用nginx实现网站负载均衡测试的例子,windows下IIS做负载实测2016-04-04
最新评论