云关键技术及基于Hadoop的云计算模型研究

  2.2 单机模式

  (1)启动Cygwin，解压缩Hadoop安装包，例如Hapoop安装包位于e：\下，则解压命令为$tar—zxvf/cygdrive/e/hadoop一0.19.2.tar.gz。

  解压默认目录在C：\cygwin\home\user文件夹下。

  (2)编辑C：\cygwin\home\Administrato ad0op-0.19.2\conf里的hadoop-env.sh，将JAVA_HOME变量设置成JDK安装目录，如果路径中有空格，需要把Program Files改成Progra~1。

  (3)配置完后即可运行WordCount实例。

  在C：\cygwiI ome dministrator\hadoop-0.19.2下创建一个输入目录input.新建2个本文文件：

  txt1.txt：yangshenyuan hello world hello hadooop

  txt2.txt：yangshenyuan bye hadoop

  然后运行实例，并将结果输出到output目录下：

  $bin/hadoop jar hadoop-0.1 9.2-examples.jar wordeount inputoutput

  2.3 伪分布模式

  (2)安装配置SSH

  启动eygwin，执行命令：$ssh-host—eonfig。

  当询问“Should privilege separation be used”时.输入no;当询问”Do you want to install sshd as a service？”选yes;当提示“Enterthe valHe of CYGWIN forthe daemon：[ntsee]”时，选择ntsec。

  提示sshd服务已经在本地系统安装完毕。输入命令$net startsshd，启动SSH，或者在Windows服务项里启动CYGWIN sshd。

  然后执行$ssh—keygen来生成密钥对.然后一直回车键确定。这样会把生产的密钥对保存在.ssh目录下。使用命令将RSA公钥加入到公钥授权文件authorized_ keys中：

  访问http：//grid1：50070可以查看NameNote以及整个分布式文件系统的状态.访问http：//gridl：50060可以查看TaskTraeker的运行状态。

  运行完数据处理.查看结果和关闭Hadoop的操作和伪分布模式相同。

  3 结束语

  虽然Hadoop支持Windows，但官网上同时声明Hadoop尚未在Windows下严格测试，建议只作为开发平台。

  而且，格式化Hadoop文件系统是Hadoop启动的第一步，每次格式化前，要清空$HADOOP_HOME\tmp目录下的所有文件.因为Hadoop格式化时会重新建立NameNoteID.而tmp里还包含上次格式化留下的信息。格式化虽然清空了NameNote的数据，但是保留了DateNote的数据，这样会导致启动失败。

  另外，在{HADOOP_HOME}\logs目录下，NameNode、DataNode、Secondary NameNode、JobTracker、Tasktracker各有一个日志文件，当出现故障时，分析这些文件也许会有帮助。