04、Hadoop 读文件

概括 HDFS 客户端获取块位置并读取 DataNode 的流程,说明副本重试的前提。

简明结论

HDFS 客户端先向 NameNode 获取所需数据块的位置信息,再直接向 DataNode 读取内容。位置获取可按读取进度进行,不能把简图理解为所有文件块位置必然一次完整返回。

HDFS 客户端先向 NameNode 获取所需数据块的位置信息,再直接向 DataNode 读取内容。位置获取可按读取进度进行,不能把简图理解为所有文件块位置必然一次完整返回。

读块失败或校验不通过时,客户端可尝试其他可用副本;是否成功仍取决于副本与网络状态。这里修正历史乱码,保留简要流程,不把副本机制描述为绝不失败。

相关:HDFS 可靠性边界。