两台 Ubuntu 机器实现 Hadoop 集群
实验环境:一台是 Ubuntu 10.04 机器,另一台是安装在 Windows XP 下通过 Vmware Server 的虚拟机,该系统也是 Ubuntu 10.04。可以利用 LVM 的“快照”功能实现数据备份。
?
1.? 实现 Hadoop 集群时,用到以下这些软件:
Ubuntu Linux 10.04 LTS, 8.10, 8.04 LTS, 7.10, 7.04 (9.10 and 9.04 should work as well) Hadoop 0.20.2, released February 2010 (also works with 0.13.x - 0.19.x)Sun JDK 6 6u21(1.6.21), 安装 JDK 详细步骤(该页面的 PDF 文件已上传到附件)。如在服务器上,我们只需安装 Sun JRE 6u21 即可。注意,jdk-6u21-linux-i586.bin 需通过 VPN 才能下载;OpenSSH Server,在 Ubuntu 中输入 sudo apt-get install openssh-server 即可安装Rsync使用 PuTTy 的 scp 功能实现文件传输
C:\Documents and Settings\Huagang Li>pscp -i E:\key\doug_lee_id_rsa.ppk -P 2323-scp "E:\Software\Linux Server\JDK\jdk-6u21-linux-i586.bin" lewis@192.168.1.198:/home/lewis/jdk-6u21-linux-i586.bin | 81889 kB | 3899.5 kB/s | ETA: 00:00:00 | 100%pscp -i E:\key\doug_lee_id_rsa.ppk -P 2323 -scp "H:\Search Engine\Open Source\hadoop-0.21.0.tar.gz" lewis@192.168.1.199:/home/lewis/
?
注意:利用 Vmware Server 在 Windows XP 上安装 Ubuntu 10.04 完成后,记得执行以下命令,不然安装软件时出现 LC_ALL = (unset) 错误:
# 前提是 /etc/default/locale 文件的内容为(不包括 # 号):# LANG="en_US.UTF-8"# LANGUAGE="en_US:en"sudo locale-gen en_US.UTF-8?
?
2.? 配置 Hadoop 信息请浏览参考资料一
?
?
参考资料