原创 大數據：Mapper輸出緩衝區MapOutputBuffer
Mapper的輸出緩衝區MapOutputBuffer 現在我們知道了Map的輸入端，緊接着我們看map的輸出，這裏重點就是context.write這個語句的內涵。獲取視頻中文檔資料及完整視頻的夥伴請加QQ羣：947967114 搞清Ma
2019-02-22 16:18:26
原创 大數據調錯系列之hadoop在開發工具控制檯上打印不出日誌的解決方法
（1）在windows環境上配置HADOOP_HOME環境變量 （2）在eclipse上運行程序 （3）注意：如果eclipse打印不出日誌，在控制檯上只顯示 1.log4j:WARN No appenders could be found
2019-02-22 16:18:26
原创 大數據：Windows下配置flink的Stream
對於開發人員來說，最希望的是需要在windows中進行測試，然後把調試好的程序放在集羣中運行。下面寫一個Socket，上面是監控本地的一個運行端口，來實時的提取數據。獲取視頻中文檔資料及完整視頻的夥伴請加QQ羣：947967114 下面是一
2019-02-22 16:18:26
原创 大數據：spark集羣搭建
創建spark用戶組，組ID1000 groupadd -g 1000 spark 在spark用戶組下創建用戶ID 2000的spark用戶 獲取視頻中文檔資料及完整視頻的夥伴請加QQ羣：947967114useradd -u 2000
2018-12-02 13:13:21
原创 大數據：Mapper輸出緩衝區MapOutputBuffer
Mapper的輸出緩衝區MapOutputBuffer 現在我們知道了Map的輸入端，緊接着我們看map的輸出，這裏重點就是context.write這個語句的內涵。獲取視頻中文檔資料及完整視頻的夥伴請加QQ羣：947967114 搞清Ma
2018-11-30 13:23:19
原创 大數據：Windows下配置flink的Stream
對於開發人員來說，最希望的是需要在windows中進行測試，然後把調試好的程序放在集羣中運行。下面寫一個Socket，上面是監控本地的一個運行端口，來實時的提取數據。獲取視頻中文檔資料及完整視頻的夥伴請加QQ羣：947967114 下面是一
2018-11-28 13:27:10
原创 大數據IDEA調試flink程序
Flink在IDEA中開發是一件比較困難的事情，網上沒有參考資料，就算就業說的太過籠統，不知道是會了不說還是不會瞎說，爲了解決flink這個問題，本人特別做了一遍開發的簡單說明。主要考慮兩個問題，1、語言環境的搭建。2、flink代碼編譯通
2018-11-26 02:46:45
1
原创 大數據：Map終結和Spill文件合併
當Mapper沒有數據輸入，mapper.run中的while循環會調用context.nextKeyValue就返回false，於是便返回到runNewMapper中，在這裏程序會關閉輸入通道和輸出通道，這裏關閉輸出通道並沒有關閉coll
2018-11-25 02:18:39
原创 大數據 ： Hadoop reduce階段
Mapreduce中由於sort的存在，MapTask和ReduceTask直接是工作流的架構。而不是數據流的架構。在MapTask尚未結束，其輸出結果尚未排序及合併前，ReduceTask是又有數據輸入的，因此即使ReduceTask已經
2018-11-24 02:19:29
3
原创 大數據調錯系列之hadoop在開發工具控制檯上打印不出日誌的解決方法
（1）在windows環境上配置HADOOP_HOME環境變量 （2）在eclipse上運行程序 （3）注意：如果eclipse打印不出日誌，在控制檯上只顯示 1.log4j:WARN No appenders could be found
2018-11-23 02:25:57
原创 大數據調錯系列之：自己總結的myeclipse連接hadoop會出現的問題
在我們學習或者工作中開始hadoop程序的時候，往往會遇到一個問題，我們寫好的程序需要打成包放在集羣中運行，這無形中在浪費我們的時間，因爲程序可以需要不斷的調試，然後把最終程序放在集羣中即可。爲了解決這個問題，現在我們配置遠程連接hadoo
2018-11-23 02:25:57