hadoop集群启动过程模拟

hadoop启动会进过一个安全模式，安全模式有如下几个特点：

安全模式下namenode收集各个datanode的报告，当数据块达到最小副本数（复制因子）以上时，会被认为是“安全”的 。

在一定比例（可设置）的数据块被确定为“安全”后，再过若干时间，安全模式结束。

当检测到副本数不足的数据块时，该块会被复制直到达到最小副本数 。

程序使用Data类模拟数据块，Namenode类作为namenode节点，Datanode类作为datanode数据节点。程序如下：

Data类

若改最小副本数量为3，安全比例为0.8的情况下，根据程序会先将数据块复制到没有该数据块的节点上，若每个节点都有这个数据块还是达不到复制因子的要求时，会复制到datanodes中第一个节点中（这里是datanode1），因为这里的安全比例为0.8，四个数据块必须都是安全的，每个数据块的最小副本数量都应该不小于3，运行的截图如下：

若把最小副本数3保持不变，安全数据块的比例降到0.7，那么四个数据块中只要有三个是安全的就可以了。运行的截图如下，可以看到这里只复制了三个数据块，data1数据还是不安全的，但是不影响集群启动。