大数据培训新三板挂牌机构 股票代码:837906 | EN CN
异常解决方案—NameNode 宕机读写测试
异常解决方案—NameNode 宕机切换实验
异常解决方案—Data Node 配置
异常解决方案—Backup Node配置
异常解决方案—NameNode配置
异常解决方案—6.5.1异常情况分析
安装及配置
5NameNode安装及配置以及6BackupNode安装及配置
6.4.4虚拟机集群架设
6.4.3安装JDK
3.配置操作系统
2.创建虚拟机与安装操作系统
6.4构建实验环境
实验方案说明
故障切换机制
日志池(journal spool)机制
元数据操作情景分——BackupNode更新磁盘上的日志文件
元数据操作情景分——NameNode通过日志输出流......
元数据操作情景分——NameNode将日志写入日志文件
元数据操作情景分——NameNode更新内存镜像
元数据操作情景分——客户端执行命令流程
元数据操作情景分
Hadoop的Backup Node方案——运行机制分析(5)
Hadoop的Backup Node方案——运行机制分析(4)
Hadoop的Backup Node方案——运行机制分析(3)
Hadoop的Backup Node方案——运行机制分析(2)
Hadoop的Backup Node方案——运行机制分析(1)
Hadoop的Backup Node方案——系统架构
Hadoop的Backup Node方案—Backup Node 概述
元数据可靠性机制以及使用说明
Checkpoint 过程情景分析
元数据更新及日志写入情景分析
NameNode启动加载元数据情景分析
Hadoop的元数据备份机制的进行分析
元数据应用场景分析
Format情景分析
磁盘元数据文件
HDFS之代码分析——元数据结构
HDFS之内存元数据结构
什么是HDFS的元数据
Hadoop中DRDB方案和AvatarNode方案
Hadoop中常用各方案的对比
Hadoop的BackupNode方案
Hadoop的CheckpointNode方案
Hadoop的SecondaryNameNode方案
Hadoop的元数据备份方案
影响HDFS可用性的几个因素
什么是高可用性? 详细解析
HDFS系统架构简介
如何安装和配置Hadoop集群
如何在Windows下安装Hadoop
在MacOSX上安装与配置Hadoop
Linux下安装Hadoop的步骤
Hadoop的集群安全策略介绍
Hive的数据管理介绍
HBase的数据管理介绍
HDFS的数据管理介绍
Hadoop计算模型之 MapReduce 简介
Hadoop于分布式开发
Hadoop体系结构介绍
Hadoop的项目结构详解
一文读懂Hadoop

Hadoop中常用各方案的对比

于2018-01-12由小牛君创建

分享到:


综上所述,HDFSHA方案比较如表3-1所示。

3-1HDFSHA方案比较

方案名称

切换时间

元数据

一致性

是否做checkpoint

使用

复杂度

成熟度

相关资料

元数据备份

一致

较多

SecondaryNameNode

不一定

较多

CheckpointNode

不一定

较少

BackupNode

一致

较少

DRDB

一致

AvatarNode

一致

其中元数据备份方案不能单独使用,因为在系统运行期间,没有相应的Checkpoint机制,会造成日志的无限制增长,因此需要和SecondaryNameNodeCheckpointNodeBackupNode配合使用。

“DRDB方案同样如此。

而对于SecondaryNameNodeCheckpointNode机制,它们只有Checkpoint

的功能,而不能保存实时的元数据,因此需要在Namenode上配置元数据备份路径来保存实时元数据。

对于BackupNode,虽然它可以实时保存元数据,但为防止BackupNode成为一个单点,也需要在NameNode上配置元数据备份路径,保存在本地进行备份。

总结

l  元数据备份方案使用简单方便,在功能上可替代DRDB

l  BackupNodeCheckpointNode的升级版,效率更高;

l  SecondaryNameNode在低版本的Hadoop中就已存在。

因此用户实际上可选择的HA组合方案为:

1)元数据备份+SecondaryNameNode

这种方案适用于目前Hadoop的所有版本,属于冷备,切换时间长。由于SecondaryNameNode自身并不实时保存元数据,一旦NameNode上的元数据损坏,将无法恢复到最新的元数据,因此采用元数据备份机制,在NameNode上需要配置多个目录进行备份,常见的做法是再配置一个NFS节点,共享一个目录进行备份。

2)元数据备份+BackupNode

这种方案只有在0.21.0以上版本才支持,目前的实现只支持冷备,切换时间长,自身实时保存元数据,不需要NFS节点。

3)元数据备份+AvatarNode

这种方案需要打Patch(补丁包),而且只支持特定的版本(0.20)或者使用FaceBook自身的Hadoop版本,切换时间短,需要一个NFS节点作为Active节点和Standby节点的数据交互节点。