Hadoop实战-中高级部分 之 HDFS原理 架构和副本机制

第一部分：当前HDFS架构详尽分析?
???HDFS架构数据存储细节
NameNode 目录结构NameNodeHDFS NameSpaceDataNodeSecondary NameNode? ? ??配置Secondary NameNodeSecondary NameNode????Secondary NameNode处理流程HDFS通信协议HDFS的安全模式第二部分：HDFS文件读取的解析文件读取流程???流程分析第三部分：HDFS文件写入的解析文件写入流程??流程分析流水线复制更细节的原理第四部分：副本机制特点副本摆放策略????修改副本数1.集群只有三个Datanode，hadoop系统replication=4时，会出现什么情况？??????? 对于上传文件到hdfs上时，当时hadoop的副本系数是几，这个文件的块数副本数就会有几份，无论以后你怎么更改系统副本系统，这个文件的副本数都不会改变，也就说上传到分布式系统上的文件副本数由当时的系统副本数决定，不会受replication的更改而变化，除非用命令来更改文件的副本数。因为dfs.replication实质上是client参数，在create文件时可以指定具体replication，属性dfs.replication是不指定具体replication时的采用默认备份数。文件上传后，备份数已定，修改dfs.replication是不会影响以前的文件的，也不会影响后面指定备份数的文件。只影响后面采用默认备份数的文件。但可以利用hadoop提供的命令后期改某文件的备份数：hadoop fs -setrep -R 1。如果你是在hdfs-site.xml设置了dfs.replication，这并一定就得了，因为你可能没把conf文件夹加入到你的 project的classpath里，你的程序运行时取的dfs.replication可能是hdfs-default.xml里的 dfs.replication，默认是3。可能这个就是造成你为什么dfs.replication老是3的原因。你可以试试在创建文件时，显式设定replication。replication一般到3就可以了，大了意义也不大。?转载请注明出处【?http://sishuok.com/forum/blogPost/list/5936.html#19653】