原创 Windows下unzip解壓縮遇到的warning: xxx appears to use backslashes as path separators
IBM Spectrum Symphony是基於SOA架構的分佈式計算框架，它能在自由伸縮的共享集羣中，爲計算密集型和數據密集型的應用提供強大的企業級管理。 Symphony有一個配置是這樣的，在應用的profile裏頭，有個方法是Reg
2020-07-07 03:51:57
34
原创 Azure計算節點無法連上本地主節點，原來是MTU惹的禍
IBM Spectrum Symphony 是基於SOA架構的分佈式計算框架，它能在自由伸縮的共享集羣中，爲計算密集型和數據密集型的應用提供強大的企業級管理。而且，Symphony能加快多個並行應用以更快地得出結果以及更好地使用所有可
2020-06-16 12:26:25
2
原创 linux下安裝eclipse開發Spark程序
今天成功在eclipse下開發了一個簡單的Scala版WordCount，並在spark集羣成功運行（standalone模式）。做個筆記mark一下 前提 安裝了jdk，我的環境是1.7.0_79 安裝包 Eclipse：eclips
2018-09-04 12:36:17
3
原创 執行openstack命令報錯
[root@server ~]# openstack extension list --networkMissing value auth-url required for auth plugin pass
2018-09-04 12:36:17
原创 理解Spark RDD中的aggregate函數
針對Spark的RDD，API中有一個aggregate函數，本人理解起來費了很大勁，明白之後，mark一下，供以後參考。 首先，Spark文檔中aggregate函數定義如下 def aggregate[U](zeroValue: U
2018-09-04 12:36:17
2
原创 scala的for循環
Scala沒有與Java對應格式的for循環結構，但是Scala的for循環更加靈活。結構格式如下： for (i <- 1 to n) { do something } 其中i不用val或var提前聲明，直接用，加上val或v
2018-09-04 12:36:16
原创 爲什麼在Nodes of the cluster頁面沒有顯示所有的node？
啓動整個Hadoop集羣： [root@sparkmaster ~]# start-dfs.sh [root@sparkmaster ~]# yarn-daemon.sh start resourcemanager starting r
2018-09-04 12:36:16
原创 啓動namenode失敗：FATAL error
namenode log報錯如下： FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode. org.apache.hadoop.hd
2018-09-04 12:36:16
原创 Spark shell裏RDD action失敗
今天操作Spark的時候遇到如下錯誤 scala> val work = sc.textFile("file:///tmp/input") work: org.apache.spark.rdd.RDD[String] = MapParti
2018-09-04 12:36:16
2
原创 Wrong FS: hdfs://******, expected: file:///
運行spark-submit遇到如下報錯：Exception in thread “main” java.lang.IllegalArgumentException: Wrong FS: hdfs://******, expected:
2018-09-04 12:36:15
原创 安裝Spark Standalone模式/Hadoop yarn模式並運行Wordcount
Spark Standalone模式 先說一下我的環境： 2個node，其中一個是master兼worker，另外一個是純worker master兼worker：sparkmaster 192.168.10.80 純worker：sp
2018-09-04 12:36:07
2
原创 克隆或複製VMware虛擬機時的網絡設置
在clone之後的虛擬機裏，啓動之後更改MAC地址和設備文件名。 [root@sparkworker1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" BO
2018-09-04 12:36:07
1
原创 java.lang.IllegalArgumentException: System memory 468189184 must be at least 4.718592E8
在Eclipse裏開發spark項目，嘗試直接在spark裏運行程序的時候，遇到下面這個報錯： ERROR SparkContext: Error initializing SparkContext. java.lang.IllegalA
2018-09-04 12:36:07
原创 spark-submit 錯誤： ava.lang.ClassNotFoundException: WordCount
今天整了一上午，終於在spark上跑出來了這個程序。 在eclipse上編了個簡單Scala程序，code如下 package spark.wordcount import org.apache.spark.SparkContext
2018-09-04 12:36:07
原创 c++中使用new動態分配存儲空間
下面這個例子，檢驗new給double型數組分配的存儲空間的首地址是多少。s是指向這個數組的指針，s+1即是指針移動一位，指向下一個元素。 [root@sparkmaster test]# cat NewArray.cpp #incl
2018-09-04 12:36:06
2