Zookeeper概述

  • 2017-12-01
  • 30
  • 0
  • 0

前言


云计算越来越流行的当下,单一机器处理能力已经满足不了我们的需求,于是不得不采用服务集群。而服务集群对外提供服务的过程中,有很多的配置需要随时更新,这就带来问题,如何保证这些信息能准确推送到各节点,也就是说,如何能保证信息的一致性和可靠性?

因此,出现一个新的概念——分布式协调服务

ZooKeeper是一种分布式协调服务,用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。 ZooKeeper允许开发人员专注于核心应用程序逻辑,而不必担心应用程序的分布式特性。

ZooKeeper框架最初是在“Yahoo!”上构建的,用于以简单而稳健的方式访问他们的应用程序。后来,Apache ZooKeeper成为Hadoop,HBase和其他分布式框架使用的有组织服务的标准。例如,Apache HBase使用ZooKeeper跟踪分布式数据的状态。本教程将介绍ZooKeeper的基础知识,如何在分布式环境中安装和部署ZooKeeper集群,最后总结了一些使用Java编程示例和应用程序示例。

 

ZooKeeper概述


分布式应用

分布式应用可以在给定时间(同时)在网络中的多个系统上运行,通过协调它们以快速有效的方式完成特定任务。通常来说,对于复杂而耗时的任务,非分布式应用(运行在单个系统中)需要几个小时才能完成,而分布式应用通过使用所有系统涉及的计算能力可以在几分钟内完成。

通过将分布式应用配置为在更多系统上运行,可以进一步减少完成任务的时间。分布式应用正在运行的一组系统称为集群,而在集群中运行的每台机器被称为节点。

分布式应用有两部分, Server(服务器) 和 Client(客户端) 应用程序。服务器应用程序实际上是分布式的,并具有通用接口,以便客户端可以连接到集群中的任何服务器并获得相同的结果。 客户端应用程序是与分布式应用进行交互的工具。

分布式应用的优点

  • 可靠性 – 单个或几个系统的故障不会使整个系统出现故障。
  • 可扩展性 – 可以在需要时增加性能,通过添加更多机器,在应用程序配置中进行微小的更改,而不会有停机时间。
  • 透明性 – 隐藏系统的复杂性,并将其显示为单个实体/应用程序。

分布式应用的挑战

  • 竞争条件 – 两个或多个机器尝试执行特定任务,实际上只需在任意给定时间由单个机器完成。例如,共享资源只能在任意给定时间由单个机器修改。
  • 死锁 – 两个或多个操作等待彼此无限期完成。
  • 不一致 – 数据的部分失败。

 

什么是Apache ZooKeeper?

Apache ZooKeeper是由集群(节点组)使用的一种服务,用于在自身之间协调,并通过稳健的同步技术维护共享数据。ZooKeeper本身是一个分布式应用程序,为写入分布式应用程序提供服务。

ZooKeeper提供的常见服务如下 :

  • 命名服务 – 按名称标识集群中的节点。它类似于DNS,但仅对于节点。
  • 配置管理 – 加入节点的最近的和最新的系统配置信息。
  • 集群管理 – 实时地在集群和节点状态中加入/离开节点。
  • 选举算法 – 选举一个节点作为协调目的的leader。
  • 锁定和同步服务 – 在修改数据的同时锁定数据。此机制可帮助你在连接其他分布式应用程序(如Apache HBase)时进行自动故障恢复。
  • 高度可靠的数据注册表 – 即使在一个或几个节点关闭时也可以获得数据。

分布式应用程序提供了很多好处,但它们也抛出了一些复杂和难以解决的挑战。ZooKeeper框架提供了一个完整的机制来克服所有的挑战。竞争条件和死锁使用故障安全同步方法进行处理。另一个主要缺点是数据的不一致性,ZooKeeper使用原子性解析

 

ZooKeeper的好处

以下是使用ZooKeeper的好处:

  • 简单的分布式协调过程
  • 同步 – 服务器进程之间的相互排斥和协作。此过程有助于Apache HBase进行配置管理。
  • 有序的消息
  • 序列化 – 根据特定规则对数据进行编码。确保应用程序运行一致。这种方法可以在MapReduce中用来协调队列以执行运行的线程。
  • 可靠性
  • 原子性 – 数据转移完全成功或完全失败,但没有事务是部分的。

 

Zookeeper总体结构

Zookeeper服务自身组成一个集群(2n+1个服务允许n个失效)。Zookeeper服务有两个角色,一个是leader,负责写服务和数据同步,剩下的是follower,提供读服务,leader失效后会在follower中重新选举新的leader。

Zookeeper逻辑图如下,

  1. 客户端可以连接到每个server,每个server的数据完全相同。
  2. 每个follower都和leader有连接,接受leader的数据更新操作。
  3. Server记录事务日志和快照到持久存储。
  4. 大多数server可用,整体服务就可用。

 

参考


https://www.w3cschool.cn/zookeeper/zookeeper_overview.html

http://blog.jiguang.cn/push_zookeeper_study_usage/

评论

还没有任何评论,你来说两句吧