zookeeper学习&使用系列文章
近段时间,因项目需要接触了下zookeeper,通过阅读源码以及项目中的使用总结,慢慢的积累了zookeeper的一系列的学习总结。
希望对大家使用zookeeper有所帮助,同时如有描述欠佳的地方尽情拍砖。
zookeeper是什么?
?ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。
?
?目前zookeeper被应用于hadoop/hbase中进行节点的管理,通过zookeeper你可以很方便的开发出一些分布式控制的工具,比如分布式lock, barrier,countDown , Semaphore等,甚至有人使用zookeeper开发了一个分布式Collections。?
?
我项目中使用的情况:主要是用于解决数据库的数据同步, 通过过程的E.T.L工作节点均使用集群化处理,整个集群的调度通过zookeeper进行管理,比如同步流程的启动,关闭,挂起等,有点带流式计算的味道。
几个技术点:
?1. 分布式lock, 解决Load时为保证源库的事务变更顺序,需要做一个串行录入
?2. 优先集群, 利用zookeeper的observer解决中美机房网络延迟的影响。美国部署observer,中国部署leader/follower
?3. zookeeper watcher,ETL节点的流转通过node的watcher进行通知
?
?
文章列表:
?
zookeeper学习记录?zookeeper学习记录(二)?zookeeper学习记录三(session,watcher,persit机制)
zookeeper项目使用几点小结
基于zookeeper的分布式lock实现
1 楼 fengsage 2011-12-15 目前正在研究阿里的DUBBO。打算用zookeeper作为注册中心。配置了zookeeper集群。但是我发现,集群环境中如果只有2台服务器做集群的时候。一旦一台服务器关闭。另外一台服务器也会相应堵塞住。导致我在正常的服务器上也无法进行注册。
注册 指的是在zookeeper上建立自己的node. 2 楼 agapple 2011-12-15 fengsage 写道目前正在研究阿里的DUBBO。打算用zookeeper作为注册中心。
配置了zookeeper集群。但是我发现,集群环境中如果只有2台服务器做集群的时候。一旦一台服务器关闭。另外一台服务器也会相应堵塞住。导致我在正常的服务器上也无法进行注册。
注册 指的是在zookeeper上建立自己的node.
这个是zookeeper的选举算法限制的,默认zookeeper需要一个奇数的节点,必须有n/2+1节点存活时才可以正常工作 3 楼 fengsage 2011-12-15 agapple 写道fengsage 写道目前正在研究阿里的DUBBO。打算用zookeeper作为注册中心。
配置了zookeeper集群。但是我发现,集群环境中如果只有2台服务器做集群的时候。一旦一台服务器关闭。另外一台服务器也会相应堵塞住。导致我在正常的服务器上也无法进行注册。
注册 指的是在zookeeper上建立自己的node.
这个是zookeeper的选举算法限制的,默认zookeeper需要一个奇数的节点,必须有n/2+1节点存活时才可以正常工作
那能否。只有2台集群的时候。一旦一台服务器挂掉。另外一台不做vote了。直接单例运行。 4 楼 agapple 2011-12-15 fengsage 写道agapple 写道fengsage 写道目前正在研究阿里的DUBBO。打算用zookeeper作为注册中心。
配置了zookeeper集群。但是我发现,集群环境中如果只有2台服务器做集群的时候。一旦一台服务器关闭。另外一台服务器也会相应堵塞住。导致我在正常的服务器上也无法进行注册。
注册 指的是在zookeeper上建立自己的node.
这个是zookeeper的选举算法限制的,默认zookeeper需要一个奇数的节点,必须有n/2+1节点存活时才可以正常工作
那能否。只有2台集群的时候。一旦一台服务器挂掉。另外一台不做vote了。直接单例运行。
做不到,不过可以有一个偏门,如果你认为哪台机器最不可能挂,就让它的权重比另一台机器大一点,只剩它这台机器时就可以超过1/2了