读书人

sqoop扩张

发布时间: 2013-02-20 12:23:22 作者: rapoo

sqoop扩展
sqoop是一款数据互导工具,利用它可以在关系数据库与hbase/hive/hdfs进行数据互导,过程中会生成一个mapreduce任务,也就说是sqoop是基于hadoop的.淘宝也有自己的数据互导工具,叫datax,它跟sqoop实现原理不同,没有基于hadoop.?sqoop目前还没有很好的支持不同的导数据业务,比如数据库字段名称不能与java关键字同名、row-key不支持整型导入等,所以还需要对sqoop进行扩展,使其能很好地支持我们的业务。今天实现了row-key支持整形导入?继承PutTransformer类

<property>    <name>sqoop.hbase.insert.put.transformer.class</name>    <value>org.apache.sqoop.hbase.ToIntPutTransformer</value></property>
?完成.

读书人网 >开源软件

热点推荐