"淘宝网HDFS元数据的独立服务和独立持久化存储"分享总结

概述：

此分享是关于淘宝网HDFS元数据的独立服务和独立持久化存储的汇总

?

汇总点：

Namenode内存中的关键数据结构部分或全部挪到第三方，并持久化保存;引入BlockChecker，检测Block副本数是否满足期望;Datanode的改进包括：实现Namenode选择策略；Client的改进包括：重连机制和选择NN节点机制；

?

选择流程包括：

流程一：DN启动时连接NN。DN需要根据选取策略，从NN列表中选取一个可用的NN地址建立连接，否则流程失败；流程二：当前已连接的NN失效，DN重新选择NN，并进行连接；流程三：手动或自动更新NN列表；

?

更多详情参见附件