廣播變量Broadcast2種實現方式,以及開發中遇到的坑

首先,介紹2中 我在開發過程中實現廣播變量時用了2中方式:

1.  使用mapPartitions循環每個分區 裏面套一個for循環 進行遍歷quzhi,使用yield進行返回(因爲for循環不支持返回),當然了這是根據業務需要,你也可以不返回,看業務

2.同樣使用mapPartitions循環每個分區,只不過裏面使用map進行循環 其實跟第一種大差不差, 推薦第二種

區別

第二種裏面可以寫else ,

第一種裏面不能寫else ,

使用過程中需要注意的.,一切盡在圖中了..

 

2者的返回值也有不同

 

 

歡迎來訪開發人員共同交流, 共同進步

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章