原创 Scala寫的wordcount
參照文檔加以修改和深化，mark一下 package mywork import java.io.File import org.apache.spark.SparkContext import org.apache.spark.Spa
2018-09-04 12:36:05
原创 提交Hadoop作業失敗，報錯Connection refused
如下， [root@sparkmaster examples]# hadoop jar mywordcount.jar WordCount /root/input/ ./out01 InputPath: WordCount OutputP
2018-09-04 12:36:05
原创 提交spark sample作業失敗
提交./run-example SparkPi 10報錯如下： 16/01/11 19:19:53 ERROR SparkContext: Error initializing SparkContext. java.net.Connect
2018-09-04 12:36:05
原创 啓動Hadoop集羣
有兩種方式啓動集羣：分步啓動和集中統一啓動。 以下執行環境是在一個有2個節點的集羣當中，namenode：sparkmaster，datanode：sparkmaster和sparkworker1 在namenode上統一啓動整個集
2018-09-04 12:36:05
原创 Exception in thread "main" java.lang.NoClassDefFoundError: xxx (wrong name:xxx)
今天用Eclipse編了個小程序，功能是將輸入的金額轉換成大寫表示，比如我們轉賬的時候，輸入1000，會提示“壹仟元整”。 程序包括一個class，裏面有4個函數： convert()--主轉換函數 getInteger()--獲取輸入數
2018-09-04 12:36:05
原创 c++中的引用
下面這個例子體現引用在c++裏的作用。 先解釋一下什麼是引用。引用在c++中實際是對象的別名，定義引用的格式是"type & name = object"。即是，如果有一個對象object，而name是object的引用，那麼object
2018-09-04 12:36:05
原创 Linux下安裝及配置Eclipse Kepler和hadoop-eclipse-kepler-plugin-2.2.0.jar
本人打算在linux環境下安裝eclipse用於Hadoop MapReduce開發。已經安裝了Hadoop-2.2.0環境，jdk是1.7.0_79版本 系統環境： [root@namenode hadoop]# cat /etc/r
2018-09-04 12:36:04
1