读书人

hive资料存储格式

发布时间: 2012-08-30 09:55:54 作者: rapoo

hive文件存储格式
hive在建表是,可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式
例如:


实例:
hive> LOAD DATA LOCAL INPATH '/home/work/test1.txt' INTO TABLE test4; Copying data from file:/home/work/test1.txtCopying file: file:/home/work/test1.txtLoading data to table default.test4OKTime taken: 4.742 secondshive> select * from test4;OKhello,hivehello,worldhello,hadoopTime taken: 1.953 seconds

总结:
相比TEXTFILE和SEQUENCEFILE,RCFILE由于列式存储方式,数据加载时性能消耗较大,但是具有较好的压缩比和查询响应。数据仓库的特点是一次写入、多次读取,因此,整体来看,RCFILE相比其余两种格式具有较明显的优势。

reference:
Hive Data Definition Language
浅谈hadoop文件格式
Facebook数据仓库揭秘:RCFile高效存储结构

读书人网 >编程

热点推荐