于2018-01-16由小牛君创建
BackupNode目前正处于开发之中,按照开发计划,BackupNode需要经历3个阶段,才能最终成为NameNode的热备节点。
第1阶段
替换SecondaryNameNode。完成的主要功能是:定期将名字空间元数据内容导出并保存到磁盘、并且定期使NameNode裁减日志的大小,限制其无限制增长。此阶段的BackupNode称之为CheckpointNode。
第2阶段
改进Checkpoint node的Checkpoint机制,在Backup Node的内存中保存一份和NameNode元数据完全一致的镜像,当元数据发生变化时,NameNode进行同步更新,此时Backup Node可直接利用自身的镜像进行Checkpoint,无需再从NameNode进行下载。此阶段的Backup Node就称之为Backup Node。
Backup Node相对于Checkpoint Node的优势有两点:
首先是Checkpoint的效率更高,其次是元数据同步更新,恢复时可以保证与最新的元数据一致。在后面的表述中,Backup Node泛指广义上的Backup Node,而第2阶段的BackupNode则会注明为“第2阶段Backup Node”。
第3阶段
对第2阶段Backup Node的功能进行扩展,使之能够在NameNode无法正常服务后,接替NameNode的所有工作,对外正常服务。此阶段的Backup Node称之为Standby Node。
目前Hadoop的0.21.0版本代码已经实现了上述第1、2个阶段。
在线咨询
免费热线
资料发放
技术答疑
关注微信