HDFS架构;HDFS读写流程;HDFS HA;小文件是什么?;小文件对Hadoop集群带来的瓶颈问题
NN:NameNode => 存储metadata:谁创建的,权限,文件对应的Block信息,副本数量 ==> HA
DN:会有多个,Block数据多副本存储在DN中,与NN之间有有心跳连接
Client:客户端读信息先会到NN发起一个读操作,返回Block存储信息,然后到分别的DN中获取信息
写操作:
读操作:
发起者一般会在hadoop-shell里面写入:hadoop fs -text /test.txt
提交到Client然后到NN里面去找对应该路径的metadata,返回给Client。这个时候Client就会按照metadata的信息到相应的DN中去查找Block,然后返回给shell
总结:有主备节点,有各自的进程进行健康监控,通过zk进行状态切换不需要人工干预。当然主备之间要做数据同步和备份的。