zookeeper

zookeeper

為分布式應用提供一緻性服務的軟件
ZooKeeper是一個分布式的,開放源碼的分布式應用程序協調服務,是Google的Chubby一個開源的實現,是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一緻性服務的軟件,提供的功能包括:配置維護、名字服務、分布式同步、組服務等。目标就是封裝好複雜易出錯的關鍵服務,将簡單易用的接口和性能高效、功能穩定的系統提供給用戶。ZooKeeper包含一個簡單的原語集,提供Java和C的接口。ZooKeeper代碼版本中,提供了分布式獨享鎖、選舉、隊列的接口,代碼在zookeeper-3.4.3\src\recipes。其中分布鎖和隊列有Java和C兩個版本,選舉隻有Java版本。
    軟件名稱:ZooKeeper 軟件平台: 軟件語言: 開發商: 軟件授權: 軟件版本: 軟件大小: 類别:分布式系統的可靠協調系統 所屬:Hadoop的正式子項目 特點:高效,可靠 中文名稱:動物園管理員 領域:大數據技術,分布式系統

原理

ZooKeeper是以Fast Paxos算法為基礎的,paxos算法存在活鎖的問題,即當有多個proposer交錯提交時,有可能互相排斥導緻沒有一個proposer能提交成功,而Fast Paxos作了一些優化,通過選舉産生一個leader,隻有leader才能提交propose,具體算法可見Fast Paxos。因此,要想弄懂ZooKeeper首先得對Fast Paxos有所了解。

ZooKeeper的基本運轉流程:

1、選舉Leader。

2、同步數據。

3、選舉Leader過程中算法有很多,但要達到的選舉标準是一緻的。

4、Leader要具有最高的zxid。

5、集群中大多數的機器得到響應并follow選出的Leader。

特點

在Zookeeper中,znode是一個跟Unix文件系統路徑相似的節點,可以往這個節點存儲或獲取數據。如果在創建znode時Flag設置為EPHEMERAL,那麼當創建這個znode的節點和Zookeeper失去連接後,這個znode将不再存在在Zookeeper裡,Zookeeper使用Watcher察覺事件信息。當客戶端接收到事件信息,比如連接超時、節點數據改變、子節點改變,可以調用相應的行為來處理數據。Zookeeper的Wiki頁面展示了如何使用Zookeeper來處理事件通知,隊列,優先隊列,鎖,共享鎖,可撤銷的共享鎖,兩階段提交。

那麼Zookeeper能作什麼事情呢,簡單的例子:假設我們有20個搜索引擎的服務器(每個負責總索引中的一部分的搜索任務)和一個總服務器(負責向這20個搜索引擎的服務器發出搜索請求并合并結果集),一個備用的總服務器(負責當總服務器宕機時替換總服務器),一個web的cgi(向總服務器發出搜索請求)。搜索引擎的服務器中的15個服務器提供搜索服務,5個服務器正在生成索引。這20個搜索引擎的服務器經常要讓正在提供搜索服務的服務器停止提供服務開始生成索引,或生成索引的服務器已經把索引生成完成可以搜索提供服務了。使用Zookeeper可以保證總服務器自動感知有多少提供搜索引擎的服務器并向這些服務器發出搜索請求,當總服務器宕機時自動啟用備用的總服務器。

部署

我需要運行幾個ZooKeeper?

你運行一個zookeeper也是可以的,但是在生産環境中,你最好部署3,5,7個節點。部署的越多,可靠性就越高,當然最好是部署奇數個,偶數個不是不可以的,但是zookeeper集群是以宕機個數過半才會讓整個集群宕機的,所以奇數個集群更佳。你需要給每個zookeeper 1G左右的内存,如果可能的話,最好有獨立的磁盤。(獨立磁盤可以确保zookeeper是高性能的。).如果你的集群負載很重,不要把Zookeeper和RegionServer運行在同一台機器上面。就像DataNodes和TaskTrackers一樣。

客戶端

PHP

注:以下代碼依賴于PHP擴展libzookeeper。

連接集群:

$zc = new ZookeeperClient();

$zc->connect('192.168.0.2:2181, 192.168.0.3:2181');

?>

創建節點:

$zc = new ZookeeperClient();

$zc->connect('localhost:2181');

$zc->create('/new_node', 'node_value');

?>

删除節點:

$zc = new ZookeeperClient();

$zc->connect('localhost:2181');

$zc->delete('/existing_node');

?>

獲取節點值:

$zc = new ZookeeperClient();

$zc->connect('localhost:2181');

var_dump($zc->get('/existing_node'));

?>

獲取子節點:

$zc = new ZookeeperClient();

$zc->connect('localhost:2181');

$childNodes = $zc->getChildren('/parent_node');

foreach ($childNodes as $nodeName) {

var_dump($nodeName);

}

?>

其他

HBase和ZooKeeper

HBase内置有ZooKeeper,也可以使用外部ZooKeeper。

讓HBase使用一個已有的不被HBase托管的Zookeep集群,需要設置conf/hbase env sh文件中的HBASE_MANAGES_ZK屬性為false

... # Tell HBase whether it should manage it's own instance of Zookeeper or not. export HBASE_MANAGES_ZK=false

接下來,指明Zookeeper的host和端口。可以在hbase-site.xml中設置,也可以在HBase的CLASSPATH下面加一個zoo.cfg配置文件。HBase 會優先加載zoo.cfg裡面的配置,把hbase-site.xml裡面的複蓋掉.

當HBase托管ZooKeeper的時候,Zookeeper集群的啟動是HBase啟動腳本的一部分。但你需要自己去運行。你可以這樣做

${HBASE_HOME}/bin/hbase-daemons sh {start,stop} zookeeper

你可以用這條命令啟動ZooKeeper而不啟動HBase. HBASE_MANAGES_ZK 的值是false,如果你想在HBase重啟的時候不重啟ZooKeeper,你可以這樣做

對于獨立Zoopkeeper的問題,你可以在Zookeeper啟動得到幫助.

上一篇:千腦

下一篇:啟發式算法

相關詞條

相關搜索

其它詞條