3)把发生错误的datanode上当前在写但未完成的block删掉；
2)为了防备防备丢包ack quene里的packet会同步到data quene里；
dn1、dn2、dn3逐级应答
客户端请求dn1上传数据，dn1收到请求会继承挪用dn2，然后dn2挪用dn3，将这个通信管道成立完成。
DFSOutputStream尚有一个对列叫ack quene，也是由packet构成，期待datanode的收到响应，当pipeline中的所有datanode都暗示已经收到的时候，这时ack quene才会把对应的packet包移除去。
DistributedFileSystem通过RPC挪用namenode去建设一个新文件，建设前， namenode查抄情况。假如通过， namenode就会记录下新文件，不然就会抛出IO异常。
namenode返回上传应答。
DataStreamer把剩余得包都刷到pipeline里，然后期待ack信息，收到最后一个ack后，通知datanode把文件标视为已完成。
4)block剩下的部门被写到剩下的两个正常的datanode中；
block上传到哪几个DN节点。
1、默认数据巨细为64MB，可设置
简朴的源码阐明：
HDFS数据存储单位（block）
HDFS(HadoopDistributed File System)漫衍式存储就是将大量的文件分手存储在差异的处事器上，通过网络技能举办毗连组成一个统一的整体。
客户端通过挪用DistributedFileSystem的create要领建设新文件。
客户端开始往dn1上传第一个block（先从磁盘读取数据放到一个当地内存缓存），以packet为单元，dn1收到一个packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答行列期待。当一个block传输完成之后，客户端再次请求namenode上传第二个block的处事器。
HDFS(HadoopDistributed File System)漫衍式存储就是将大量的文件分手存储在差异的处事器上，通过网络技能举办毗连组成一个统一的整体。namenode返回3个节点，别离为dn1、dn2、dn3。
2、若文件巨细不到64MB，则单独存储为一个block
客户端完成写数据后挪用close要领封锁写入流。
第三步。
一、文件被切分成牢靠巨细的文件块
客户端向namenode请求上传文件，namenode查抄方针路径的情况是否已存在。
1)pipeline被封锁掉；
假如在写的进程中某个datanode产生错误，会采纳以下几步：
什么是漫衍式存储
DataStreamer会去处理惩罚接管data quene，它先询问namenode这个新的block最适合存储的在哪几个datanode里（好比反复数是3，那么就找到3个最适合的 datanode），把他们排成一个pipeline。DataStreamer把packet按行列输出到管道的第一个datanode中，，第一个 datanode又把packet输出到第二个datanode中，以此类推。
简述：
5)namenode找到别的的datanode去建设这个块的复制。虽然，这些操纵对客户端来说是无感知的。
前两步竣事后，会返回FSDataOutputStream的工具，与读文件的时候相似， FSDataOutputStream被封装成DFSOutputStream。DFSOutputStream可以协调namenode和 datanode。客户端开始写数据到DFSOutputStream，DFSOutputStream会把数据切成一个个小的packet，然后排成队 列data quene（数据行列）。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
