原创 Scala學習：抽象類型
Scala學習：抽象類型 type 現實與代碼不兼容的問題 先拋出一個現實與代碼不兼容的問題。 以下代碼奶牛吃草是正常的，但你把魚也餵給奶牛，它竟然也吃起來了。這顯然是不合理的。 scala通過type抽象類型解決這個問題 class Fo
2019-11-08 12:45:30
原创 scala學習：枚舉
Scala學習：枚舉類型 枚舉 object Color extends Enumeration { val GREEN, RED, YELLOW = Value } for (color <- Color.
2019-11-06 12:55:30
原创 scala學習：隱式轉換與隱式參數
隱式轉換和隱式參數 Scala總共有三個地方會使用隱式定義： 轉換到一個預期的類型 對某個（成員）選擇接收端（字段、方法調用等）的轉換 隱式參數 隱式規則 標記規則：只有標記爲implicit的定義纔可用。可標記任何變量、函數、對象
2019-11-05 19:25:43
1
原创 scala學習：特質Trait
特質 Trait Trait可堆疊特性 可自由組合你的算法，非常靈活。越靠後的特質越先執行。 特質使用的線性化解讀super abstract class IntQueue { def get(): Int def
2019-10-30 13:05:40
原创 scala學習：模式匹配
模式匹配 常量模式 def constansMatch(x: Any): Any = x match { case 5 => "five" case true => "true" case "h
2019-10-29 19:36:34
原创 scala學習：控制抽象
控制抽象 減少重複代碼 重複代碼 這是一開始最可能寫出來的代碼，代碼很簡單，就是文件名的過濾功能。 object FileMatcher { private def files = new File(".").listFiles()
2019-10-25 13:05:22
原创 scala學習--方法與函數
scala方法與函數（2.11） Scala介紹 Spark1.6中使用的是Scala2.10。Spark2.0版本以上使用是Scala2.11版本。 Scala官網6個特徵 Java和scala可以混編 類型推測(自動推測類型) 併發和
2019-10-20 21:25:26
原创 ElasticSearch Hot&Warm架構
ElasticSearch Hot&Warm架構 數據通常不會有Update操作； 適⽤於Time based索引數據（生命週期管理），同時數據量⽐較大的場景。 引⼊Warm節點，低配置大容量的機器存放老數據，以降低部署成本 兩類數據節
2019-09-23 15:15:27
原创 ElasticSearch集羣部署方式
ElasticSearch集羣部署方式 節點類型 生產環境中建議節點單一職責 Master eligible（使⽤低配置的 CPU，RAM 和磁盤） 負責集羣狀態管理 Data（使⽤高配置的 CPU, RAM 和磁盤） 負責數據存儲及處理理
2019-09-20 11:35:32
原创 CDH離線搭建
CDH離線搭建 其實3年前就對CDH神交已久，當時也打算用CDH來作爲公司的大數據平臺，不過當時也是自己不夠給力，導致後面換成了Ambari。 最近CDH把HDP收購了，HDP也是我一直在用的一個大數據全家桶。這次想換個口味，感受一下CDH
2019-09-19 18:26:24
6
原创 ambari 自定義服務
Ambari自定義服務學習 集成kafka-manager到ambari 存入的地址: cd /var/lib/ambari-server/resources/stacks/HDP/2.5/services 最後的文件結構 KAFKA_MA
2019-09-19 18:26:02
1
原创 HBase統計
HBase統計方法 使用Hive統計 建一張Hive表映射HBase表 CREATE EXTERNAL TABLE LJKTEST( ID STRING , AGE STRING , NAME STRING , COMPANY STRI
2019-09-19 18:26:02
1
原创 Ambari環境搭建（離線搭建）
ambari 離線部署 Ambari介紹 Ambari 是 Apache Software Foundation 的一個頂級開源項目，是一個集中部署、管理、監控 Hadoop 分佈式集羣的工具。但是這裏的 Hadoop 是一個廣義概念，並不
2019-09-19 18:25:51
8
原创 Kerberos搭建（基於Ambari環境）
Kerberos Kerberos搭建（基於Ambari環境） 搭建KDC 安裝 yum install krb5-server krb5-libs krb5-workstation 修改配置文件 vi /etc/krb5.con
2019-09-19 18:25:51
原创 Ambari 升級
Ambari升級 [TOC] 確認版本 目前公司使用的2.4.2版本，在2017年還算是比較新的了。目前就落後了三個大版本了。不得不感嘆技術迭代真的太快了。 ambari2.7.3官網給出的升級，是必須在2.6.X上升級 ambari2.
2019-09-19 18:25:51
27