Hadoop Streaming 之 awk实现Map/Reduce

//TODO 说明

?

?

?

?

?

[xxuser@xxhost ~]$ hadoop jar $HADOOP_STREAMING_JAR \> -input /test/ylb/mock_data/cv-pt-demo.txt \> -output /test/ylb/mock_data/output/cv-pt-demo-10 \> -mapper "awk '\$1~/1/ {printf(\"%s\t%s\n\",\$1,\$2)}'" \> -reducer "awk 'BEGIN{pt[\"test_key\"]=0;} {key=\$2/10;pt[key]+=1;} END{ for(k in pt){printf(\"%d\t%d\n\",k,pt[k]);} }'"

?

?

1. -mapper " awk ' ?' ?" ? ?, 这种写法的话， ' ' 里面的脚本中有三种字符（shell特殊字符）需要转义，分别是 ?" ' $?

? 这种写法的好处是可以方便的引用外部shell变量

?

? ? -mapper ' ?awk " " ?' ? ?这种写法则不需要转义

?

第一种写法比较容易出错，所有必须要理解 unix shell 的 ? 双引号 ?单引号 的区别

摘自?http://hi.baidu.com/liangkejia_jaja/blog/item/189438f03ef74709b17ec5bf.html

?

1)"" -> 双引号（不保留完整内容，比如遇到$, 反引号, \ 等就会执行相应的shell）# echo "Today is `date`"   -> Today is Wed Aug  3 05:50:34 GMT 2011    2)'' -> 单引号（完整保留内容）# echo "Today is `date`"   -> Today is `date`    3)`` -> 反引号 （反引号内的shell会执行）# echo `date`   -> Wed Aug 3 05:59:19 GMT 2011

?

?