HIVE 優化的幾個切入點
一、合理設計schema
1.使用分區,但避免使用大量的分區
2.合理設計臨時表
3.合理設計buckets
4.針對不同的表,合理使用壓縮特性
二、查詢優化
1.使用適當的MAP與REDUCE數
2.使用普通的JOIN時,設計合理的表順序
3.使用MAP JOIN
4.使用BUCKET MAP JOIN或SORT MERGE BUCKET MAP JOIN
5.合理設計索引
HIVE 優化的幾個切入點
一、合理設計schema
1.使用分區,但避免使用大量的分區
2.合理設計臨時表
3.合理設計buckets
4.針對不同的表,合理使用壓縮特性
二、查詢優化
1.使用適當的MAP與REDUCE數
2.使用普通的JOIN時,設計合理的表順序
3.使用MAP JOIN
4.使用BUCKET MAP JOIN或SORT MERGE BUCKET MAP JOIN
5.合理設計索引