原创 mapReduce求最大值
static class MyMapper extends Mapper<LongWritable, Text, LongWritable, NullWritable>{ long max = Long.MIN_VALUE; pr
2020-06-21 10:29:24
2
原创 取消chrome打印預覽流程
1，下載新版chrome瀏覽器 2，打開瀏覽器輸入：chrome://flags/ 3，搜索框（Search flags）輸入print 4，看到Enable New Print Preview UI La
2020-06-21 10:29:24
原创 mapReduce分組
原始數據 1 1 2 1 2 2 3 1 3 2 3 3 // 分組 job.setGroupingComparatorClass(MyGroupingComparator.class); 要繼承 RowC
2020-02-25 04:58:53
原创 hadoop集羣搭建
計算機集羣是一種計算機系統， 它通過一組鬆散集成的計算機軟件和/或硬件連接起來高度緊密地協作完成計算工作。 集羣系統中的單個計算機通常稱爲節點，通常通過局域網連接。 集羣技術的特點： 1.通過多臺計算機完成同一個工作。達到更高的效率 2.
2020-02-25 04:58:53
原创 partitoner筆記
//1.3 指定分區類 job.setPartitionerClass(KpiPartitioner.class); job.setNumReduceTasks(3); static class KpiPartitioner e
2020-02-25 04:58:53
原创 mapReduce排序 筆記
在 mymapper 中加入要排序的類 static class MyMapper extends Mapper<LongWritable, Text, NewK2, LongWritable>{ protected void m
2020-02-25 04:58:53
原创 combiner筆記
每一個map可能會產生大量的輸出，combiner的作用就是在map端對輸出先做一次合併，以減少傳輸到reducer的數據量。 combiner最基本是實現本地key的歸併，combiner具有類似本地的reduce功能。 如果不用com
2020-02-25 04:58:53
原创 rpc
RPC——遠程過程調用協議，它是一種通過網絡從遠程計算機程序上請求服務，而不需要了解底層網絡技術的協議。RPC協議假定某些傳輸協議的存在，如TCP或UDP，爲通信程序之間攜帶信息數據。在OSI網絡通信模型中，RPC跨越了傳輸層和應用層。R
2020-02-25 04:58:53
原创 MapReduce
MapReduce是一種分佈式計算模型，由Google提出，主要用於搜索領域，解決海量數據的計算問題. MR由兩個階段組成：Map和Reduce，用戶只需要實現map()和reduce()兩個函數，即可實現分佈式計算，非常簡單。 這兩個函
2020-02-25 04:58:53
原创 JobTracker
問：在eclipse中的寫的代碼如何提交作業到JobTracker中的哪？ 答：(1)在eclipse中調用的job.waitForCompleti
2020-02-25 04:58:53
原创 vue打包上傳到騰訊COS
1, 引入cos-nodejs-sdk-v5 npm i cos-nodejs-sdk-v5 --save 2，在build文件下創建uploadOSS.js let COS = require('cos-nodejs-sdk-v
2019-12-03 06:18:44
2
原创 vue打包上傳到阿里OSS
1, 引入ali-oss npm i ali-oss --save 2，在build文件下創建uploadOSS.js let OSS = require('ali-oss') var fs = require('fs');
2019-12-03 06:18:33
原创 Build step 'Execute shell' marked build as failure
項目合併後jenkins打包報錯。 code ELIFECYCLE npm ERR! errno 1 npm ERR! [email protected] build:sit: `cross-env NODE_ENV=prod
2019-06-11 20:44:16
原创 Zookeeper
»Zookeeper 是 Google 的Chubby一個開源的實現，是Hadoop的分佈式協調服務 »它包含一個簡單的原語集，分佈式應用程序可以基於它實現同步服務，配置維護和命名服務等 爲什麼使用Zookeeper？ »大部分分佈式應用
2018-08-29 09:35:31