首家大数据培训挂牌机构 股票代码:837906 | EN CN
异常解决方案—NameNode 宕机读写测试
异常解决方案—NameNode 宕机切换实验
异常解决方案—Data Node 配置
异常解决方案—Backup Node配置
异常解决方案—NameNode配置
异常解决方案—6.5.1异常情况分析
安装及配置
5NameNode安装及配置以及6BackupNode安装及配置
6.4.4虚拟机集群架设
6.4.3安装JDK
3.配置操作系统
2.创建虚拟机与安装操作系统
6.4构建实验环境
实验方案说明
故障切换机制
日志池(journal spool)机制
元数据操作情景分——BackupNode更新磁盘上的日志文件
元数据操作情景分——NameNode通过日志输出流......
元数据操作情景分——NameNode将日志写入日志文件
元数据操作情景分——NameNode更新内存镜像
元数据操作情景分——客户端执行命令流程
元数据操作情景分
Hadoop的Backup Node方案——运行机制分析(5)
Hadoop的Backup Node方案——运行机制分析(4)
Hadoop的Backup Node方案——运行机制分析(3)
Hadoop的Backup Node方案——运行机制分析(2)
Hadoop的Backup Node方案——运行机制分析(1)
Hadoop的Backup Node方案——系统架构
Hadoop的Backup Node方案—Backup Node 概述
元数据可靠性机制以及使用说明
Checkpoint 过程情景分析
元数据更新及日志写入情景分析
NameNode启动加载元数据情景分析
Hadoop的元数据备份机制的进行分析
元数据应用场景分析
Format情景分析
磁盘元数据文件
HDFS之代码分析——元数据结构
HDFS之内存元数据结构
什么是HDFS的元数据
Hadoop中DRDB方案和AvatarNode方案
Hadoop中常用各方案的对比
Hadoop的BackupNode方案
Hadoop的CheckpointNode方案
Hadoop的SecondaryNameNode方案
Hadoop的元数据备份方案
影响HDFS可用性的几个因素
什么是高可用性? 详细解析
HDFS系统架构简介
如何安装和配置Hadoop集群
如何在Windows下安装Hadoop
在MacOSX上安装与配置Hadoop
Linux下安装Hadoop的步骤
Hadoop的集群安全策略介绍
Hive的数据管理介绍
HBase的数据管理介绍
HDFS的数据管理介绍
Hadoop计算模型之 MapReduce 简介
Hadoop于分布式开发
Hadoop体系结构介绍
Hadoop的项目结构详解
一文读懂Hadoop

如何在Windows下安装Hadoop

于2018-01-11由小牛君创建

分享到:


1 安装JDK1.6或更高版本

相对于LinuxJDKWindows上的安装过程更容易。你可以在

http://www.java.com/zh_CN/download/manual.jsp下载到最新版本的JDK。这里再次申明,Hadoop的编译及MapReduce程序的运行,很多地方都需要使用JDK的相关工具,因此只安装JRE是不够的。

安装过程十分简单,运行安装程序即可,程序会自动配置环境变量(在之前的版本中还没有这项功能,新版本的JDK已经可以自动配置环境变量了)。

2 安装Cygwin

Cygwin是在Windows平台下模拟UNIX环境的一个工具,只有通过它才可以在Windows环境下安装Hadoop。可以通过下面的链接下载Cygwinhttp://www.cygwin.com/

双击运行安装程序,选择installfrominternet

根据网络状况,选择合适的源下载程序。

进入selectpackages界面,然后进入Net,选中OpenSSLOpenSSH(如图2-1所示)。

image.png

2-1 勾选opensslopenssh

如果打算在Eclipse上编译Hadoop,还必须安装BaseCategory下的sed(如图2-2所示)。

image.png

2-2 勾选sed

另外建议安装EditorsCategory下的vim,以便在Cygwin上直接修改配置文件。


3 配置环境变量


依次右击我的电脑,在弹出的快捷菜单中依次单击属性”→“高级系统设置”→“环境变量,修改环境变量里的path设置,在其后添加Cygwinbin目录。


4 安装sshd服务


单击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config命令,当要求输入Yes/No时,选择输入No。当显示“Havefun”时,表示sshd服务安装成功。


5 启动sshd服务


在桌面上的我的电脑图标上右击,在弹出的快捷菜单中单击管理命令,启动CYGWINsshd服务,或者直接在终端下输入下面的命令启动服务:

Net start sshd


6 配置SSH免密码登录


执行ssh-keygen命令生成密钥文件。按如下命令生成authorized_keys文件:

Cd ~/.ssh/

cp id_rsa.pub authorized_keys

完成上述操作后,执行exit命令先退出Cygwin窗口,如果不执行这一步操作,后续的操作可能会遇到错误。接下来,重新运行Cygwin,执行sshlocalhost命令,在第一次执行时会有提示,然后输入yes,直接回车即可。


7 安装并运行Hadoop


Windows上安装Hadoop与在Linux上安装的过程一样,这里就不再赘述了,不过有两点需要注意:

1)在配置conf/hadoop-evn.sh文件中Java的安装路径时,如果路径之间有空格,需要将整个路径用双引号引起来。例如可以进行配置:

exportJAVA_HOME="/cygdrive/c/ProgramFiles/Java/jdk1.6.0_22"

其中cygdrive表示安装cygdrive之后系统的根目录。

另外一种办法是在cygwin窗口使用类似下面的命令创建文件链接,使后面的文件指向Windows下安装的JDK,然后将conf/hadoop-env.shJDK配置为此链接文件:

$ ln -s/cygdrive/c/Program\Files/Java/jdk1.6.0_22/usr/local/jdk

2)在配置conf/mapred-site.xml文件时,应增加对mapred.child.tmp属性的配置,配置的值应为一个Linux系统的绝对路径,如果不配置,Job在运行时就会报错。具体配置为:

<property>

<name>mapred.child.tmp</name>

<value>/home/Administrator/hadoop-1.0.1/tmp</value>

</property>

同样需要在conf/core-site.xml文件中为hadoop.tmp.dir属性配置一个和mapred.child.tmp属性相似的绝对路径。