原创 spark-shell/spark-sql --master yarn的一些坑 ---001
一、 錯誤描述：Exception in thread "main" org.apache.spark.SparkException: Application application_1479132065716_00 原因：我的是JDK版
2020-02-23 22:23:09
原创 spark中的map與flatMap的一些見解
在spark中map函數和flatMap函數是兩個比較常用的函數。其中 map：對集合中每個元素進行操作。 flatMap：對集合中每個元素進行操作然後再扁平化。 理解扁平化可以舉個簡單例子 val arr=sc.paralleliz
2020-02-23 22:23:09
原创 linux AWK命令的一點使用見解
1、awk是行處理器: 相比較屏幕處理的優點，在處理龐大文件時不會出現內存溢出或是處理緩慢的問題，通常用來格式化文本信息 2、awk處理過程: 依次對每一行進行處理，然後輸出 3、awk命令形式: awk [-F|-f|-v] ‘BE
2020-02-23 22:23:09
原创 Spark on Yarn ”爬坑“集錦（spark1.2）
遇到的"坑"和爬坑思路 1、SparkSql on yarn-client模式遇到找不到mysql驅動包問題。 解決方案：這個比較簡單直接編輯$SPARK_HOME/conf/spark-env.sh文件，將mysql的驅動jar
2020-02-23 22:23:09
原创 MySQL兩種批量插入的實現案例
PreparedStatement： 1） addBatch()將一組參數添加到PreparedStatement對象內部。 2） executeBatch()將一批參數提交給數據庫來執行，如果全部命令執行成功，則返回更新計數組成的
2018-08-25 15:58:43
原创 java 內部類
說起內部類這個詞，想必很多人都不陌生，但是又會覺得不熟悉。原因是平時編寫代碼時可能用到的場景不多，用得最多的是在有事件監聽的情況下，並且即使用到也很少去總結內部類的用法。今天我們就來一探究竟。下面是本文的目錄大綱： 一.內部類
2018-08-25 15:58:43
1
原创 hadoop自定義分區函數
首先我們明確一下關於中這個分區到底是怎麼樣，有什麼用處？回答這個問題先看看上次代碼執行的結果，我們知道結果中有個文件(part-r-00000),這個文件就是所有的詞的數量記錄，這個時候有沒什麼想法比如如果我想把一些包含特殊的詞放置單獨
2018-08-25 15:58:36
1
原创 hadoop mapreduce自定義排序
說到排序我們可以查看下hadoop源碼裏面的WordCount例子中對LongWritable類型定義，它實現抽象接口WritableComparable，代碼如下： 1 2 3 4 5 6
2018-08-25 15:58:36
2
原创 java wait()和sleep()的區別
對於sleep()方法，我們首先要知道該方法是屬於Thread類中的。而wait()方法，則是屬於Object類中的。 sleep()方法導致了程序暫停執行指定的時間，讓出cpu該其他線程，但是他的監控狀態依然保持者，當指定的時間到了
2018-08-25 15:58:32
原创 java HashSet和LinkedHashSet的區別與使用
類HashSet和LinkedHashSet都是接口Set的實現，兩者都不能保存重複的數據。主要區別是HashSet不保證集合中元素的順序，即不能保證迭代的順序與插入的順序一致。 而LinkedHashSet按照元素插入的順序進行迭代
2018-08-25 15:58:32
原创 Java中（靜態）變量、（靜態）代碼塊的執行順序
首先創建3個類： 1、Foo類，用於打印變量 public class Foo { public Foo(String word) { System.out.println(word); } }
2018-08-25 15:58:32
1
原创 java中的Set、List、Map的區別與用法
對JAVA的集合的理解是想對於數組 數組是大小固定的，並且同一個數組只能存放類型一樣的數據（基本類型/引用類型） JAVA集合可以存儲和操作數目不固定的一組數據。 所有的JAVA集合都位於 java.util包中！ JAV
2018-08-25 15:58:30
原创 hadoop二次排序、分組、排序和分區
關於二次排序主要涉及到這麼幾個東西： 在0.20.0 以前使用的是 setPartitionerClass setOutputkeyComparatorClass setOutputValueGroupingComparato
2018-08-25 15:58:30
原创 Hash衝突的一點看法
雖然我們不希望發生衝突，但實際上發生衝突的可能性仍是存在的。當關鍵字值域遠大於哈希表的長度，而且事先並不知道關鍵字的具體取值時。衝突就難免會發 生。另外，當關鍵字的實際取值大於哈希表的長度時，而且表中已裝滿了記錄，如果插入一個新記錄
2018-08-25 15:58:30
3