Skip to content

Latest commit

 

History

History
31 lines (16 loc) · 1.29 KB

11.大数据面试准备.md

File metadata and controls

31 lines (16 loc) · 1.29 KB

大数据面试

HDFS

HDFS架构;HDFS读写流程;HDFS HA;小文件是什么?;小文件对Hadoop集群带来的瓶颈问题

HDFS架构

概念

NN:NameNode => 存储metadata:谁创建的,权限,文件对应的Block信息,副本数量 ==> HA

DN:会有多个,Block数据多副本存储在DN中,与NN之间有有心跳连接

Client:客户端读信息先会到NN发起一个读操作,返回Block存储信息,然后到分别的DN中获取信息

读写流程

写操作:

HDFS写操作

读操作:

发起者一般会在hadoop-shell里面写入:hadoop fs -text /test.txt 提交到Client然后到NN里面去找对应该路径的metadata,返回给Client。这个时候Client就会按照metadata的信息到相应的DN中去查找Block,然后返回给shell

HA架构

HA架构

总结:有主备节点,有各自的进程进行健康监控,通过zk进行状态切换不需要人工干预。当然主备之间要做数据同步和备份的。