ZooKeeper分布式协调服务设计核心概念及安装配置

 更新时间:2022年03月21日 15:46:50   作者:愿许浪尽天涯  
这篇文章主要为大家介绍了ZooKeeper分布式协调服务核心概念及安装配置,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

一、ZooKeeper 简介

ZooKeeper 是一个开源的分布式协调服务,目前由 Apache 进行维护。ZooKeeper 可以用于实现分布式系统中常见的发布/订阅、负载均衡、命令服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。 它具有以下特性:

顺序一致性: 来自客户端的更新操作将会按照顺序被应用;
 

原子性: 即要么全部更新成功,要么要不更新失败,没有部分的结果;
 

统一的系统镜像: 即不管客户端连接的是哪台服务器,都能看到同样的服务视图(也就是无状态的)
 

可靠性: 一旦写入操作被执行,那么这个状态将会被持久化,直到其它客户端的修改生效。
 

实时性: 一旦一个事务被成功应用,ZooKeeper 可以保证客户端立即读取到这个事务变更后的最新状态的数据。

1.ZooKeeper 设计目标

  • ZooKeeper 致力于为那些高吞吐的大型分布式系统提供一个高性能、高可用、且具有严格顺序访问控制能力的分布式协调服务。

1)简单的数据模型:

ZooKeeper 通过树形结构来存储数据,它由一系列被称为 ZNode 的数据节点组成,类似于常见的文件系统;

不过和常见的文件系统不同,ZooKeeper 将数据全量存储在内存中,以此来实现高吞吐,减少访问延迟。

2)可配置 Cluster:

为了保证高可用,最好是以集群形态部署 ZooKeeper,这样只要集群中大部分机器是可用的,那么 ZooKeeper 本身仍然可用。

在这里插入图片描述

上图中每一个 Server 代表一个安装 ZooKeeper 服务的服务器,组成 ZooKeeper 服务的服务器都会在内存中维护当前的服务器状态,并且每台服务器间都保持着通信。并通过 Zab 协议来保持数据的一致性。

3)顺序访问:

对于来自客户端的每个更新请求,ZooKeeper 都会分配一个全局唯一的递增 ID,这个 ID 决定了所有事务操作的先后顺序。

4)高性能高可用

ZooKeeper 将数据全量存储在内存中以保持高性能,并通过服务集群来实现高可用;由于 ZooKeeper 的所有更新和删除都是基于事务的,所以其在读多写少的应用场景中有着很高的性能表现。

2.核心概念

Cluster 角色:

角色作用
Leader提供读写服务,并维护集群状态(经过选举产生)
Follower提供读写服务,并定期向 Leader 汇报自己的节点状态(同时也参加 过半写成功 的策略和 Leader 的选举)
OBServer提供读写服务,并定期向 Leader 汇报自己的节点状态(因为不参加策略和选举,所以可以在不影响写性能的情况下提升集群的读性能)

1)Session 会话

当 Client 通过 TCP 长连接 连接到 ZooKeeper 服务器时,Session 便开始建立连接,并通过 tickTime(心跳检测)机制来保持有效的会话状态。通过这个连接,Client 可以发送请求并接收响应,同时也可以接收到 Watch 事件的通知。

另外,当由于网络故障或者 Client 主动断开等原因,导致连接断开,此时只要在会话超时时间之内重新建立连接,则之间创建的会话依然有效。(这个取决于 tickTime 配置)

2)数据节点

ZooKeeper 数据模型是由一系列基本数据单元 ZNode(数据节点)组成的节点树,其中根节点为 /(每个节点上都会保存自己的数据和节点信息);ZooKeeper 中的节点可以分为两大类:

持久节点: 节点一旦创建,除非被主动删除,否则一直存在。

临时节点: 一旦创建该节点的客户端会话(Session)失效,则所有该客户端创建的临时节点都会被删除。

3)Watcher

ZooKeeper 中一个常用的功能是 Watcher(事件监听器),它允许用户在指定节点上针对感兴趣的事件注册监听,当事件发生时,监听器会被触发,并将事件推送到客户端。该机制是 ZooKeeper 实现分布式协调服务的重要特性。

4)ACL

命令作用
create可以进行创建操作
read可以进行查看操作
write可以对创建的内容进行写入操作
delete可以进行删除操作
admin可以进行配置权限操作

命令作用create可以进行创建操作read可以进行查看操作write可以对创建的内容进行写入操作delete可以进行删除操作admin可以进行配置权限操作

3.Zab 协议介绍

Zab(ZooKeeper Atomic Broadcast 原子广播)协议是为分布式协调服务 ZooKeeper 专门设计的一种 支持崩溃恢复的原子广播协议;

在 ZooKeeper 中,主要依赖 Zab 协议来实现分布式数据一致性;

基于 Zab 协议,ZooKeeper 实现了一种主备模式的系统架构来保持集群中各个副本间的数据一致性。

二、ZooKeeper Cluster 安装

准备工作:

主机名操作系统IP 地址
ZooKeeperCentOS 7.4192.168.1.1

安装 JDK:下载地址(需要创建 Oracle 账号)

[root@ZooKeeper ~]# ls
anaconda-ks.cfg  jdk-8u181-linux-x64.tar.gz
[root@ZooKeeper ~]# tar zxf jdk-8u181-linux-x64.tar.gz 
[root@ZooKeeper ~]# ls
anaconda-ks.cfg  jdk1.8.0_181  jdk-8u181-linux-x64.tar.gz
[root@ZooKeeper ~]# mv jdk1.8.0_181 /usr/local/java
[root@ZooKeeper ~]# cat <<END >> /etc/profile
export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin
END
[root@ZooKeeper ~]# source /etc/profile
[root@ZooKeeper ~]# java -version

在这里插入图片描述

1.安装 ZooKeeper

[root@ZooKeeper ~]# wget http://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
[root@ZooKeeper ~]# ls
anaconda-ks.cfg  apache-zookeeper-3.6.3-bin.tar.gz  jdk-8u181-linux-x64.tar.gz
[root@ZooKeeper ~]# tar zxf apache-zookeeper-3.6.3-bin.tar.gz
[root@ZooKeeper ~]# mv apache-zookeeper-3.6.3-bin /usr/local/zookeeper
[root@ZooKeeper ~]# mkdir /usr/local/zookeeper/data
[root@ZooKeeper ~]# cat <<END >> /usr/local/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper/data
clientPort=2181
END

注解:

tickTime:Client 和服务器间的通信会话限制(相当于健康检查,tickTime 的时间为 ms (1s = 1000ms))

initLimit:Leader 和 Follower 间初始通信限制。

syncLimit:Leader 和 Follower 间同步通信限制(当响应时间超于 syncLimit * tickTime 时,Leader 便会将 Follower 进行移除)

dataDir:此目录用于存放保存在内存数据库中的快照信息(当未配置 dataLogDir 参数时,日志信息也会存放到此目录)

clientPort:ZooKeeper 监听的端口,用于客户端连接使用。

启动 ZooKeeper

[root@ZooKeeper ~]# /usr/local/zookeeper/bin/zkServer.sh start						# 启动
[root@ZooKeeper ~]# /usr/local/zookeeper/bin/zkServer.sh status						# 查看状态

在这里插入图片描述

连接到 ZooKeeper

[root@ZooKeeper ~]# /usr/local/zookeeper/bin/zkCli.sh -server 127.0.0.1:2181
Welcome to ZooKeeper!
JLine support is enabled
WATCHER::
WatchedEvent state:SyncConnected type:None path:null
[zk: 127.0.0.1:2181(CONNECTED) 0] 

当连接成功后,系统会输出 ZooKeeper 的相关配置信息和相关环境,并在屏幕上输出 Welcome to ZooKeeper! 等信息。

2.使用 Golang 连接 ZooKeeper 的 API 接口

安装 Golang

[root@ZooKeeper ~]# git clone https://github.com/samuel/go-zookeeper.git
[root@ZooKeeper ~]# mv go-zookeeper /usr/local/go/src/
package main
import (
    "fmt"
    "time"
    "go-zookeeper/zk"
)
func main() {
    Hosts := []string{"192.168.1.1:2181"}
    conn, _, err := zk.Connect(Hosts,time.Second * 5)
    defer conn.Close()
    if err != nil {
        fmt.Println(err)
        return
    }
}

在这里插入图片描述

通过 Golang 实现对 ZooKeeper 的增删改查:

package main
import (
    "fmt"
    "time"
    "go-zookeeper/zk"
)
var (
    path = "/Zzz"
)
//增
func add(conn *zk.Conn) {
    var data = []byte("Hello ZooKeeper")
    // flags 的四种取值方式:
    // 0 (永久.除非手动删除)
    // zk.FlagEphemeral = 1 (短暂. session 断开则该节点也被删除)
    // zk.FlagSequence = 2 (会自动在节点后面添加序号)
    // 3 (Ephemeral 和 Sequence. 即短暂且自动添加序号)
	var flags int32 = 0
	// 获取访问控制权限
	acls := zk.WorldACL(zk.PermAll)
	create, err := conn.Create(path,data,flags,acls)
	if err != nil {
	    fmt.Printf("创建失败: %v\n",err)
		return
    }
	fmt.Printf("创建: %v 成功\n",create)
}
// 查
func get(conn *zk.Conn) {
    data, _, err := conn.Get(path)
	if err != nil {
	    fmt.Printf("查询 %s 失败,err: %v\n",path,err)
	    return
	}
	fmt.Printf("%s 的值为 %s\n",path,string(data))
}
// 删除与增加不同在于其函数中的 Version 参数. 其中 Version 使用 CAS 支持 (可以通过此种方式保证原子性)
// 改
func modify(conn *zk.Conn) {
    new_data := []byte("This is ZooKeeper")
    _, sate, _ := conn.Get(path)
    _, err := conn.Set(path,new_data,sate.Version)
    if err != nil {
	    fmt.Printf("数据修改失败: %v\n",err)
	    return
    }
    fmt.Println("数据修改成功")
}
// 删
func del(conn *zk.Conn) {
    _, sate, _ := conn.Get(path)
    err := conn.Delete(path,sate.Version)
    if err != nil {
        fmt.Printf("数据删除失败: %v\n",err)
	    return
    }
    fmt.Println("数据删除成功")
}
func main() {
    hosts := []string{"192.168.1.1:2181"}
    conn, _, err := zk.Connect(hosts,time.Second * 5)
    defer conn.Close()
    if err != nil {
        fmt.Println(err)
	    return
    }
    /* 增删改查 */
    add(conn)
    get(conn)
    modify(conn)
    get(conn)
    del(conn)
}

3.配置 ZooKeeper Cluster

在原来的基础上,在增加两台服务器:

主机名操作系统IP 地址
ZooKeeper-2CentOS 7.4192.168.1.2
ZooKeeper-3CentOS 7.4192.168.1.3

1)将 Java 和 ZooKeeper 传给新的服务器:

[root@ZooKeeper ~]# scp -r /usr/local/java root@192.168.1.2:/usr/local/
[root@ZooKeeper ~]# scp -r /usr/local/zookeeper root@192.168.1.2:/usr/local/

2)在新的服务器上启动 ZooKeeper:

[root@ZooKeeper ~]# cat <<END >> /etc/profile
export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin
END
[root@ZooKeeper ~]# source /etc/profile
[root@ZooKeeper ~]# /usr/local/zookeeper/bin/zkServer.sh start

3)配置 Cluster 集群(三台服务器上操作一样)

[root@ZooKeeper ~]# cat <<END >> /usr/local/zookeeper/conf/zoo.cfg
server.1=192.168.1.1:2888:3888
server.2=192.168.1.2:2889:3889
server.3=192.168.1.3:2890:3890
END

4)创建 myid 文件

[root@ZooKeeper ~]# echo "1" > /usr/local/zookeeper/data/myid
[root@ZooKeeper-2 ~]# echo "2" > /usr/local/zookeeper/data/myid
[root@ZooKeeper-2 ~]# echo "3" > /usr/local/zookeeper/data/myid

需要确保每台服务器的 myid 文件中数字不同,并且和自己所在机器的 zoo.cfgserver.id=host:port:portid 值一样。

另外,id 的范围是 1 ~ 255

5)重启 ZooKeeper 服务

[root@ZooKeeper ~]# /usr/local/zookeeper/bin/zkServer.sh restart			# 三台服务器都要重启

查看 ZooKeeper 状态:

在这里插入图片描述

验证:

在这里插入图片描述

以上就是ZooKeeper分布式协调服务设计核心概念及安装配置的详细内容,更多关于ZooKeeper分布式协调服务核心安装配置的资料请关注脚本之家其它相关文章!

相关文章

  • zabbix利用python脚本发送报警邮件的方法

    zabbix利用python脚本发送报警邮件的方法

    这篇文章是是用外部脚本python实现zabbix的报警机制的。对于zabbix3.0此处存在一个小改动,忙活了一天才找到原因哒。下面就来看看详细的介绍吧,有需要的朋友们可以参考借鉴。
    2016-12-12
  • Zabbix 配置PING监控的方法

    Zabbix 配置PING监控的方法

    Zabbix 提供了一个预定义的模板,名为 Template Module ICMP Ping,用于监控网络设备的 ICMP 响应,这篇文章主要介绍了Zabbix 配置PING监控,需要的朋友可以参考下
    2024-07-07
  • 教你使用zabbix api批量添加数百台监控主机的方法

    教你使用zabbix api批量添加数百台监控主机的方法

    这篇文章主要介绍了利用zabbix api批量添加数百台监控主机,本次我们将实现用一台主机虚拟出100台主机,并通过api的方式自动添加监控主机,需要的朋友可以参考下
    2022-03-03
  • zabbix实现邮件告警的方法

    zabbix实现邮件告警的方法

    今天小编就为大家分享一篇关于zabbix实现邮件告警的方法,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-02-02
  • 基于zabbix实现监控Jenkins过程详解

    基于zabbix实现监控Jenkins过程详解

    这篇文章主要介绍了基于zabbix实现监控Jenkins过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-11-11
  • centos7.9安装zabbix5.0.14及配置过程

    centos7.9安装zabbix5.0.14及配置过程

    这篇文章主要介绍了centos7.9安装zabbix5.0.14的详细过程,本文给大家介绍了基础环境配置方法及安装zabbix相关组件的过程讲解,需要的朋友可以参考下
    2021-08-08
  • 解决zabbix监控因php问题导致图形界面中文乱码方法

    解决zabbix监控因php问题导致图形界面中文乱码方法

    解决因编译php中添加了-enable-gd-jis-conv选项导致Zabbix监控系统图形界面中文乱码问题,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友参考下吧
    2019-10-10
  • 监控zabbix的安装与使用教程

    监控zabbix的安装与使用教程

    这篇文章主要介绍了监控zabbix的安装与使用教程,详细介绍了zabbix的安装步骤,zabbix的主动模式和被动模式简介及实现,需要的朋友可以参考下
    2024-08-08
  • zabbix如何添加监控主机和自定义监控项

    zabbix如何添加监控主机和自定义监控项

    这篇文章主要介绍了zabbix添加监控主机和自定义监控项的方法,添加自定义监控项此处以监控当前系统的用户个数为例子,通过脚本命令给大家详细讲解,需要的朋友可以参考下
    2022-08-08
  • zabbix 2.2安装步骤详细介绍

    zabbix 2.2安装步骤详细介绍

    这篇文章主要介绍了zabbix 2.2安装步骤详细介绍的相关资料,本文给大家介绍的非常详细,具有参考借鉴价值,需要的朋友可以参考下
    2016-10-10

最新评论