windows7配置hadoop环境
主要软件 ?jdk1.6(安装路径不要有空格）
? ? ? ? ? ? ? Cygwin（安装在NTFS分区下)
? ? ? ? ? ? ? hadoop-0.21.0
?
?
安装Cygwin注意:*** Query: Should privilege separation be used? (yes/no) no
? ? ? ? ? ? ? ? ? ? ? ? ?*** Query: (Say "no" if it is already installed as a service) (yes/no) yes
?
? ? ? ? ? ? ? ? ? ? ? ? *** Query: Enter the value of CYGWIN for the daemon: [] ntsec
?
当出现have fun 表示成功。
?
启动ssh服务 ?net start sshd
登录 ? ? ? ? ? ? ssh ? localhost ? ?提示密码输入
?
Hadoop配置
Hadoop ?用tar命令解压 到E:盘根目录 ?在Cygwin的etc/profile文件末尾加入：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?export HADOOP_HOME=/cygdrive/e/hadoop-0.21.0
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?export PATH=$PATH:$HADOOP_HOME/bin
?
?
更改hadoop/conf下的hadoop-env.sh ? 加入?export JAVA_HOME=/cygdrive/d/Java/jdk1.6
? ? ? hadoop/bin下的hadoop-config.sh ?把189行改为 ? JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m -classpath ${HADOOP_COMMON_HOME}/hadoop-common-0.21.0.jar org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`
?
?
- hadoop/conf/core-site.xml ?
- <configuration>?
- <property>?
- <name>fs.default.name</name>?
- <value>hdfs://localhost:9000</value>?
- </property>?
- <property>?
- </configuration>?
- hadoop/conf/hdfs-site.xml ?
- <configuration>?
- <property>?
- <name>dfs.replication</name>?
- <value>1</value>?
- </property>?
- </configuration>?
- /opt/hadoop/conf/mapred-site.xml ?
- <configuration>?
- <property>?
- <name>mapred.job.tracker</name>?
- <value>localhost:9001</value>?
- </property>?
- </configuration>?
- ?
?
?
运行hadoop
? ? 打开Cygwin控制台 ?输入cd ?$HADOOP_HOME 进入Hadoop文件夹
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 输入?bin/hadoop namenode format
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 启动 ?$ bin/start-all.sh
?
?
?
测试 ?：在伪分布式模式上运行
?
? ? ? ? ??bin/hadoop jar hadoop-*-examples-0.21.0.jar grep input output ‘dfs[a-z.]+’
?
? ? ? ? ?重开个Cygwin控制台 进入Hadoop文件夹
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?输入?bin/hadoop fs -cat output/*
? ? ? ? ?可以看到下面内容：
?
?
3 ? ? ? dfs.class
2 ? ? ? dfs.period
1 ? ? ? dfsmetrics.log
1 ? ? ? dfsadmin
1 ? ? ? dfs.servers
1 ? ? ? dfs.replication
1 ? ? ? dfs.permissions
1 ? ? ? dfs.file
?
?
?
?
?
?
?
?
?
?
?