大数据培训新三板挂牌机构 股票代码:837906 | EN CN
异常解决方案—NameNode 宕机读写测试
异常解决方案—NameNode 宕机切换实验
异常解决方案—Data Node 配置
异常解决方案—Backup Node配置
异常解决方案—NameNode配置
异常解决方案—6.5.1异常情况分析
安装及配置
5NameNode安装及配置以及6BackupNode安装及配置
6.4.4虚拟机集群架设
6.4.3安装JDK
3.配置操作系统
2.创建虚拟机与安装操作系统
6.4构建实验环境
实验方案说明
故障切换机制
日志池(journal spool)机制
元数据操作情景分——BackupNode更新磁盘上的日志文件
元数据操作情景分——NameNode通过日志输出流......
元数据操作情景分——NameNode将日志写入日志文件
元数据操作情景分——NameNode更新内存镜像
元数据操作情景分——客户端执行命令流程
元数据操作情景分
Hadoop的Backup Node方案——运行机制分析(5)
Hadoop的Backup Node方案——运行机制分析(4)
Hadoop的Backup Node方案——运行机制分析(3)
Hadoop的Backup Node方案——运行机制分析(2)
Hadoop的Backup Node方案——运行机制分析(1)
Hadoop的Backup Node方案——系统架构
Hadoop的Backup Node方案—Backup Node 概述
元数据可靠性机制以及使用说明
Checkpoint 过程情景分析
元数据更新及日志写入情景分析
NameNode启动加载元数据情景分析
Hadoop的元数据备份机制的进行分析
元数据应用场景分析
Format情景分析
磁盘元数据文件
HDFS之代码分析——元数据结构
HDFS之内存元数据结构
什么是HDFS的元数据
Hadoop中DRDB方案和AvatarNode方案
Hadoop中常用各方案的对比
Hadoop的BackupNode方案
Hadoop的CheckpointNode方案
Hadoop的SecondaryNameNode方案
Hadoop的元数据备份方案
影响HDFS可用性的几个因素
什么是高可用性? 详细解析
HDFS系统架构简介
如何安装和配置Hadoop集群
如何在Windows下安装Hadoop
在MacOSX上安装与配置Hadoop
Linux下安装Hadoop的步骤
Hadoop的集群安全策略介绍
Hive的数据管理介绍
HBase的数据管理介绍
HDFS的数据管理介绍
Hadoop计算模型之 MapReduce 简介
Hadoop于分布式开发
Hadoop体系结构介绍
Hadoop的项目结构详解
一文读懂Hadoop

元数据可靠性机制以及使用说明

于2018-01-16由小牛君创建

分享到:


Hadoop 的元数据备份方案以及 HDFS 的自身机制从多个方面保证了元数据的可靠性:

首先,可配置多个备份路径,NameNode 在更新日志或进行 doCheckpoint过程中,会将元数据文件保存到所有配置的备份目录,这样即便是某个备份路径对应的存储出现问题,也不会导致整个 HDFS 彻底无法工作;其次对于每一个需要保存的元数据文件,都创建一个输出流,对访问过程中出现异常的输出流进行处理,将其移出,并在后续合适的时机再次检查移出的输出流是否恢复正常,这样可以有效保证备份过程中出现异常的输出流不影响其他输出流的正常操作;注意:如果输出流异常造成调用操作无法返回时,将导致整个输出流操作阻塞。

使用说明

Hadoop的元数据备份使用简单,在hdfs-default.xml中有默认的配置选项,如下所示。dfs.namenode.name.dir用来配置Fsimage的备份路径,路径间用进行分隔,dfs.namenode.edits.dir用来配置日志文件Edits的备份路径,路径间用进行分隔。在使用时,可以将hdfs-default.xml中默认的配置选项复制到hdfs-site.xml进行相应的配置,在配置时通常配置两个路径,一个为本地路径,另一个为远程路径,如NFS共享路径。

Hadoop的元数据备份机制通常与Secondary  NameNodeCheckpoint  NodeBackupNode结合使用,在后续章节中将详细介绍。

<property>

<name>dfs.namenode.name.dir</name>

<value>配置 FSImage 的备份路径,用""进行分隔 </value>

<description>Determines where on the local filesystem the DFS name node

should store the name table(fsimage). If this is a

comma-delimited list

of directories then the name table is replicated in all of the

directories, for redundancy.

</description>

</property>

<property>

<name>dfs.namenode.edits.dir</name>

<value>配置 Edits 的备份路径,用""进行分隔</value>

<description>Determines where on the local filesystem the DFS name node

should store the transaction (edits) file. If this is a

comma-delimited list

of directories then the transaction file is replicated in all of the

directories, for redundancy. Default value is same as dfs.name.dir

</description>

</property>