原创 Giraph 操作參數
Giraph Options label type default value description giraph.SplitMasterWorker boolean true Separa
2020-07-02 22:09:52
1
原创 scala 學習筆記-持續更新中
scala 學習筆記-持續更新中 學習列表： scala官方文檔scala cheattwitter Scala 課堂有趣的 Scala 語言: 使用遞歸的方式去思考《scala 編程》 幾乎一切乎都是表達式 scala> 1
2020-07-02 22:09:51
原创 Linux下遠程同步或傳輸文件
Linux下遠程同步或傳輸文件 1. scp 命令用法 傳輸單個文件 本地到遠程 scp /home/user1/filename user2@hostname:/home/user2 遠程到本地 scp user2@hostna
2020-07-02 22:09:50
原创 Giraph 運行常見錯誤
1. Could not find or load main class org.apache.giraph.yarn.GiraphApplicationMaster 16/08/30 08:45:13 ERROR yarn.Gira
2020-07-02 22:09:50
原创 Maven 手動安裝 JAR 包
Maven 安裝 JAR 包的命令是： mvn install:install-file -Dfile=jar包的位置 -DgroupId=指定jar的groupId -DartifactId=指定jar的artifactId -Dv
2020-02-21 02:23:51
原创 Giraph 源碼編譯常見錯誤
Giraph 源碼編譯命令： giraph_basedir $ mvn -Phadoop_yarn -Dhadoop.version={指定hadoop版本} -DskipTests clean package o
2020-02-21 02:23:51
原创 運行 Giraph 提示 too many counters
運行 Giraph 提示 too many counters 在加入 -ca mapreduce.job.counters.limit=1000 後，仍然運行失敗 16/10/20 08:56:08 INFO job.Giraph
2020-02-21 02:23:51
原创 Spark RDD API詳解(一) Map和Reduce
Spark RDD API詳解(一) Map和Reduce Spark RDD是什麼？ RDD是Spark中的抽象數據結構類型，任何數據在Spark中都被表示爲RDD。從編程的角度來看，RDD可以簡單看成是一個數組。和普通數組的
2018-09-03 12:26:13
1
原创 有向圖的幾個算法分析總結
簡介 前面討論的很多文章裏，都是針對無向圖進行的分析。無向圖的一個特性就是其中一旦兩個節點a和b是相連的，這就意味着有路徑從a到b，同時也有從b到a的。它具體對應的矩陣表達方式對應着一個對稱矩陣。而這裏重點是考察有向圖。和無向
2018-09-03 12:26:12
原创 Hadoop提供的reduce函數中Iterable 接口只能遍歷一次的問題
之前有童鞋問到了這樣一個問題：爲什麼我在 reduce 階段遍歷了一次 Iterable 之後，再次遍歷的時候，數據都沒了呢？可能有童鞋想當然的回答：Iterable 只能單向遍歷一次，就這樣簡單的原因。。。事實果真如此嗎？ 還是用
2018-09-03 12:26:12
1
原创 無向圖的幾個基本算法應用
簡介 最近在看一些圖相關的問題。實際上關於圖相關的研究和問題已經非常多了。在前面的幾篇文章裏，我也談到過圖的定義、遍歷法，擴展樹生成和最短路徑等問題。 除了這些問題及應用以外，還有一些比較常見的問題，雖然難度不大，不過經常會
2018-09-03 12:26:12
3
原创 RUNTIME DATA AREAS – JAVA’S MEMORY MODEL
“Under the Hood” blog series – getting a deeper technical insight like the mobile solutions, JVM, computer languages,
2018-09-03 12:26:12
12
原创 Mac初體驗之配置與工具
Mac初體驗之配置與工具入職的第一天就給配了MacBook Pro，以前只看別人用，這次自己也體驗上了，還是有點小激動，原諒我的沒有追求 (~_~)。好景不長，對於用慣了Windows和Ubuntu (diao si) 的我，終於發現還是
2018-09-03 12:26:12
原创 Mysql解壓版安裝常見錯誤
Mysql解壓版安裝常見錯誤1. 在執行安裝命令時，一直提示安裝不成功。$scripts/mysql_install原因可能有兩個：a. 在安裝前存在舊的數據，運行 $rm -r datab. 沒有指定參數 $scripts/mysql_
2018-09-03 12:26:12
原创 Java Virtual Machine: the Essential Guide
Introduction Java Virtual Machine (JVM) is an execution environment for Java applications. In the general sense, the
2018-09-03 12:26:12
2