原创 spark1.2.0版本搭建僞分佈式環境
、下載scala2.11.5版本，下載地址爲：http://www.scala-lang.org/download/2.11.5.html 2、安裝和配置scala： 第一步：上傳scala安裝包 並解壓 第二步 配置SCALA_H
2020-02-21 06:39:18
原创 clover分佈式任務調度系統
1、clover分佈式調度介紹 clover分佈式任務調度是完全使用Java技術自主開發 特點如下: 1、防單點故障 2、job可部署多臺，但任務調度時，只有一臺參執行。如果一臺下線， clover選擇其他已在zookeeper註冊
2020-02-21 06:39:18
原创 Spark API編程動手實戰-08-基於IDEA使用Spark API開發Spark程序-02
接下來進行打包，使用Project Structure的Artifacts： 使用From modules with dependencies： 選擇Main Class： 點擊“OK”: 把名稱改爲SparkDemoJ
2020-02-21 06:39:18
原创 Spark API編程動手實戰-04-以在Spark 1.2版本實現對union、groupByKey、join、reduce、lookup等操作實踐...
下面看下union的使用： 使用collect操作查看一下執行結果： 再看下groupByKey的使用： 執行結果： join操作就是一個笛卡爾積操作的過程，如下示例： 對rdd3和rdd4執行join操作：
2020-02-21 06:39:18
原创 Apache Spark 1.5.0正式發佈
Spark 1.5.0是1.x線上的第6個發行版。這個版本共處理了來自230+contributors和80+機構的1400+個patches。Spark 1.5的許多改變都是圍繞在提升Spark的性能、可用性以及操作穩定性。Spark
2018-09-14 23:23:55
原创 基於spark1.3.1的spark-sql實戰－01
sqlContext總的一個過程如下圖所示： SQL語句經過SqlParse解析成UnresolvedLogicalPlan； 使用analyzer結合數據數據字典（catalog）進行綁定，生成resolvedLogical
2018-09-14 23:23:55
原创 最近hadoop遇到的issuses
https://issues.apache.org/jira/browse/YARN-182 https://issues.apache.org/jira/browse/YARN-903 https://issues.apache.or
2018-09-14 23:23:55
原创 spark總體概況
1. spark vs hadoop PS:Databricks團隊特別說明，爲了和Hadoop對比，這次用於排序的Spark集羣沒有使用它們的內存緩存機制，他們也是用硬盤存儲的中間結果！ http://tieba.yunxunmi.
2018-09-14 23:23:55
原创 HiveServer2 入門使用
Beeline – 一個新的命令行Shell HiveServer2 supports a new command shell Beeline that works with HiveServer2. It's a JDBC clien
2018-09-14 23:23:55
3
原创 spark standalone模式 zeppelin安裝
1. 前置條件 None root account Apache Maven Java 1.7 2. 源碼 https://github.com/apache/incubator-zeppelin
2018-09-14 23:23:55
1
原创 啓動hive命令報錯 “Metastore contains multiple versions”
錯誤日誌： Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.a
2018-09-14 23:23:55
原创 spark取得lzo壓縮文件報錯 java.lang.ClassNotFoundException: Class com.hadoop.compression
恩,這個問題,反正是我從來沒有注意的問題,但今天還是寫出來吧 配置信息 hadoop core-site.xml配置 <property> <name>io.compression.codecs</name> <
2018-09-14 23:23:55
原创 zeppelin入門使用
Display System text 默認使用scala語言輸出text內容 shell html scala 輸出html shell 輸出html table scala shell table scala: s
2018-09-14 23:23:55
1
原创 sparksql與hive整合
hive配置 編輯 $HIVE_HOME/conf/hive-site.xml,增加如下內容: <property> <name>hive.metastore.uris</name> <value>thrift://master:9
2018-09-14 23:23:55