hive array、collect_list、collect_set、concat_ws

1、array():將兩列合併爲一列 如 將a字段 和b字段 合併爲 c字段

hive> select array(a,b) from temp.xxxx;
OK
[“aa”,“aa”]
[“aa”,“cc”]
[“aa”,“bb”]
[“bb”,“33”]
[“bb”,“11”]

2、collect_list():根據某個字段分組後，把分在一組的數據合併在一起，默認分隔符’,’
不去重,無序

hive>select a,collect_list(b) from temp.xxxx group by a;
aa [“cc”,“aa”,“cc”,“bb”]
bb [“33”,“11”,“11”]
2、collect_list():根據某個字段分組後，把分在一組的數據合併在一起，默認分隔符’,’
去重,無序

hive>select a,collect_set(b) from temp.xxxx group by a;
aa [“cc”,“aa”,“bb”]
bb [“33”,“11”]

3、collect_set():在collect_list()的基礎上去重 另：set聚合無序，可以使用sort_array()函數進行排序
hive>select a,concat_ws(",",sort_array(collect_set(b))) from temp.xxxx group by a;
aa aa,bb,cc
bb 11,33