hadoop及mahout安装
环境：虚拟机vmware7+ubuntu12.04
1，先下载需要的文件：
? ? ?【注意】：版本问题很重要
? ? ?jdk，eclipse，maven
? ? ?hadoop：http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.0.3/?我其实先下载了0.2.0
? ? ?mahout：http://labs.renren.com/apache-mirror/mahout/0.7/
2，安装jdk，下载的rpm包，需要安装alien，然后用alien把rpm转换成deb，再使用dpkg安装
3，eclipse解压，我用的helios版
4，maven解压，配置环境变量：
我的/etc/profile文件最终的配置（我的文件都放在share目录下，然后share目录可以和windows共享）：
export JAVA_HOME=/usr/java/jdk1.7.0_07export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport HADOOP_HOME=/home/ydp/share/hadoop-1.0.3export HADOOP_CONF_DIR=$HADOOP_HOME/confexport PATH=$HADOOP_HOME/bin:$PATHexport MAHOUT_HOME=/home/ydp/share/mahout-distribution-0.7export PATH=$MAHOUT_HOME/bin:$PATHexport MAVEN_HOME=/home/ydp/share/apache-maven-3.0.4export PATH=$MAVEN_HOME/bin:$PAT
5，安装hadoop，解压1.0.3版本，配置文件：
core-site.xml
<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/ydp/tmp</value></property></configuration?
mapred-site.xml
<configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property></configuration?
hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration?
hadoop-env.sh
?
export JAVA_HOME=/usr/java/jdk1.7.0_07export HADOOP_HOME_WARN_SUPPRESS=TRU?
6，安装mahout，解压(我就没用mvn install了，直接下了个可用的)
?
7，在eclipse中配置hadoop，
将hadoop.0.2.0下contrib/eclipse-plugin目录下的插件拷贝出来，
解压（右键解压即可），
将hadoop内的文件hadoop-common-0.21.0..jar，hadoop-hdfs-0.21.0.jar，log4j-1.2.15.jar,hadoop-mapred-0.21.0.jar拷贝到lib目录，
在插件解压后的目录打包：jar cvf?hadoop-0.21.0-eclipse-plugin ./* ；
打开jar包内(META-INF)的文件MANIFEST.MF打开，用加压后的内容覆盖这个文件里的内容，并修改其中（应该在文件末尾处）的Bundle-ClassPath: classes/,lib/hadoop-common-0.21.0..jar,lib/hadoop-hdfs-0.21.0.jar,lib/log4j-1.2.15.jar,lib/hadoop-mapred-0.21.0.jar
将修改后的问价保存，然后把新的插件jar包拷贝到eclipse/plugins目录下，重启eclipse，打开map reduce视窗，配置其中的参数和之前在hadoop.1的配置文件中一样。
8，在eclipse中运行wordcount，
package org.frame.base.hbase.hadoop;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser;public class WordCount { /** * TokenizerMapper 继续自 Mapper<Object, Text, Text, IntWritable> * * [一个文件就一个map,两个文件就会有两个map] * map[这里读入输入文件内容 以" \t\n\r\f" 进行分割，然后设置 word ==> one 的key/value对] * * @param Object Input key Type: * @param Text Input value Type: * @param Text Output key Type: * @param IntWritable Output value Type: * * Writable的主要特点是它使得Hadoop框架知道对一个Writable类型的对象怎样进行serialize以及deserialize. * WritableComparable在Writable的基础上增加了compareT接口，使得Hadoop框架知道怎样对WritableComparable类型的对象进行排序。 * * @author yangchunlong.tw * */ public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } /** * IntSumReducer 继承自 Reducer<Text,IntWritable,Text,IntWritable> * * [不管几个Map,都只有一个Reduce,这是一个汇总] * reduce[循环所有的map值,把word ==> one 的key/value对进行汇总] * * 这里的key为Mapper设置的word[每一个key/value都会有一次reduce] * * 当循环结束后，最后的确context就是最后的结果. * * @author yangchunlong.tw * */ public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); /** * 这里必须有输入/输出 */ if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(conf, "word count"); job.setJarByClass(WordCount.class);//主类 job.setMapperClass(TokenizerMapper.class);//mapper job.setCombinerClass(IntSumReducer.class);//作业合成类 job.setReducerClass(IntSumReducer.class);//reducer job.setOutputKeyClass(Text.class);//设置作业输出数据的关键类 job.setOutputValueClass(IntWritable.class);//设置作业输出值类 FileInputFormat.addInputPath(job, new Path(otherArgs[0]));//文件输入 FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));//文件输出 System.exit(job.waitForCompletion(true) ? 0 : 1);//等待完成退出. }}?新建mapreduc目录，设置运行参数hdfs://localhost:9000/user/name/test hdfs://localhost:9000/user/name/result，运行
9，在命令行运行wordcount：
安装ssh并配置无密码输入登录，
ssh-keygen-t rsa -P ?
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
hadoop namenode -format
start-all.sh
stop-all.sh
jps
echo "a a a b b" >> test
hadoop fs -put test test
hadoop fs -ls
hadoop jar example.jar wordcount test result
hadoop fs -cat result/*
10，运行mahout，mahout --help ?mahout kmeans --help
1.下载文件http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data放在$MAHOUT_HOME目录下。
2.启动Hadoop：$HADOOP_HOME/bin/start-all.sh
3.在$MAHOUT_HOME目录下创建测试目录testdata，并把数据导入到这个tastdata目录中（这里的目录的名字只能是testdata）
$HADOOP_HOME/bin/hadoop fs -mkdir testdata
$HADOOP_HOME/bin/hadoop fs -put ?$MAHOUT_HOME/synthetic_control.data?$MAHOUT_HOME/testdata
4.使用kmeans算法(这会运行1分钟左右)
$HADOOP_HOME/bin/hadoop jar $MAHOUT_HOME/mahout-examples-0.5-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
5.查看结果
$HADOOP_HOME/bin/hadoop fs -lsr output
$HADOOP_HOME/bin/hadoop fs -get output $MAHOUT_HOME/examples
$cd $MAHOUT_HOME/examples/output
$ ls
如果看到以下结果那么算法运行成功，你的安装也就成功了.
clusteredPoints ?clusters-0 ?clusters-1 ?clusters-10 ?clusters-2 ?clusters-3 ?clusters-4
clusters-5 ?clusters-6 ?clusters-7 ?clusters-8 ?clusters-9 ?data
?