读书人

HDFS v2 HA提案对比

发布时间: 2013-07-01 12:33:04 作者: rapoo

HDFS v2 HA方案对比

Apache提供了两种HDFS v2 的HA方案。HA的具体实现和使用方式本文就不赘述了,可以参考以下链接:

HA with NFS?

HA with QJM

CDH(Cloudera的Hadoop发行版)在早期的版本中只支持HA with NFS方案。自CDH4.1起,增加对HA with QJM的支持。QJM由Cloudera设计,并已经merge到Hadoop的TRUNK(HDFS-3077)。

?

本文旨在对比两种HA方案,为HA选型提供帮助。我们假定读者已经对HDFSv2有一定的了解,对于HDFSv1 HA了解与否并不会影响对本文的理解,因为v2的HA方案和v1的诸多HA实现有相当的差别。

?

首先我们来罗列两者的共同点:都是热备方案
  • 都是一个active Namenode(NN)和一个standby NN
  • 使用Zookeeper(ZK)?quorum和ZKFC来实现自动失效恢复。
  • 在失效恢复时都需要配置fencing方法来fence active NN接着,罗列参与HA的不同角色:

    HDFS with NFS

  • 读书人网 >开源软件

    热点推荐