用maven的ant run插件自动部署MR job依赖的jar到HDFS

背景

远程提交MR job时将MR job依赖的所有jar都发布到HDFS中，同时将这些jar加到hadoop job的classpath上。

如果每次手动上传就太费劲。项目集成maven。所以打算在maven package时将所有jar通过脚本上传到远程HDFS上

?

?

?

编写ant脚本

使用了，haddop的ant 插件。说白了就是一些util方法，调用了fsshell。没有文档，写的时候需要参考plugin的源代码。呵呵。

关键：

?

?
cmd：命令，参考hadoop fs
args：参数，逗号分隔
conf：core-site.xml的所在的文件目录
?
?
build.xml
?
?
?
build.properties.xml
?
?
?
build.properties
?
?
?
?
?
运行：
执行maven install，看到所有jar都发布到了hdfs上。hoho。
?

?