开发高效的hive程序,hive优化
给部门做的一次hive开发优化的分享,经验不足,还请大家多多指教。
?
ppt见附件。
?
?
?分区裁剪、列裁剪?合理利用中间表,避免对一个表重复扫描?尽量避免笛卡尔积?合理使用MapJoin?用Join代替IN?合理使用Union all?合理使用动态分区?数据倾斜发布时间: 2012-08-10 12:19:33 作者: rapoo
开发高效的hive程序,hive优化
给部门做的一次hive开发优化的分享,经验不足,还请大家多多指教。
?
ppt见附件。
?
?
?分区裁剪、列裁剪?合理利用中间表,避免对一个表重复扫描?尽量避免笛卡尔积?合理使用MapJoin?用Join代替IN?合理使用Union all?合理使用动态分区?数据倾斜