原创 [Scala]Scala學習筆記九 提取器

1. apply和update方法Scala允許你使用如下函數調用語法:f(arg1, arg2, ...) 擴展到可以應用於函數之外的值.如果f不是函數或方法,那麼這個表達式就等同於調用:f.apply(arg1, arg2, ...)

原创 [AirFlow]AirFlow使用指南四 DAG Operator Task

1. DAG在Airflow中,DAG或有向無環圖是你運行所有任務的集合,以某種組織方式來反映所有任務之間的關係和依賴。例如,一個簡單的DAG可以包括三個任務:A,B和C.可以說A必須在B運行之前成功運行,但C可以隨時運行。 可以說任務A

原创 [AirFlow]AirFlow使用指南三 第一個DAG示例

經過前兩篇文章的簡單介紹之後,我們安裝了自己的AirFlow以及簡單瞭解了DAG的定義文件.現在我們要實現自己的一個DAG. 1. 啓動Web服務器 使用如下命令啓用: airflow webserver 現在可以通過將瀏覽器導航到啓動

原创 [AirFlow]AirFlow使用指南一 安裝與啓動

1. 安裝通過pip安裝:xiaosi@yoona:~$ pip install airflow 如果速度比較慢,可以使用下面提供的源進行安裝:xiaosi@yoona:~$ pip install -i https://pypi.tun

原创 [Maven]maven-shade-plugin使用指南

1. Selecting Contents for Uber JAR下面的POM代碼段顯示瞭如何控制在uber JAR中應該包含/排除哪些項目依賴關係:<project> ... <build> <plugins>

原创 [Scala]Scala學習筆記七 正則表達式

1. Regex對象我們可以使用scala.util.matching.Regex類使用正則表達式.要構造一個Regex對象,使用String類的r方法即可:val numPattern = "[0-9]+".r 如果正則表達式包含反斜槓

原创 [Scala]Scala學習筆記二 數組

1. 定長數組如果你需要一個長度不變的數組,可以使用Scala中的Array.val nums = new Array[Int](10) // 10個整數的數組 所有元素初始化爲0 val strs = new Array[String]

原创 [Scala]Scala學習筆記八 高階函數

Scala混合了面向對象和函數式的特性.在函數式編程語言中,函數可以像任何其他數據類型一樣被傳遞和操作.如果想要給算法傳入明細動作時,只需要將明細動作包在函數當中作爲參數傳入即可.1. 作爲值的函數在Scala中,函數就和數字一樣,可以在

原创 [Scala]Scala學習筆記三 Map與Tuple

1. 構造映射可以使用如下命令構造一個映射:scala> val scores = Map("Alice" -> 90, "Kim" -> 89, "Bob"-> 98) scores: scala.collection.immutabl

原创 [Git]Git指南一 查看創建刪除標籤

1. 查看標籤列出現有標籤,使用如下命令:xiaosi@yoona:~/code/learningnotes$ git tag r-000000-000000-cm.cm v1.0.0 v1.0.1 我們可以用特定的搜索模式列出符合條件

原创 [Scala]Scala學習筆記五 Object

1. 單例對象Scala沒有靜態方法或靜態字段,可以使用object來達到這個目的,對象定義了某個類的單個實例:object Account{ private var lastNumber = 0 def newUniqueNum

原创 [Scala]Scala學習筆記十 模式匹配

Scala有一個十分強大的模式匹配機制.可以應用在很多場合:switch語句,類型檢查等等.此外Scala還提供了樣例類,對模式匹配進行了優化.1. 更好的switch如下是Scala中C風格switch語句的等效代碼:var sign

原创 [Scala]Scala學習筆記六 文件

1. 讀取行讀取文件,可以使用scala.io.Source對象的fromFile方法.如果讀取所有行可以使用getLines方法:val source = Source.fromFile("/home/xiaosi/exception.

原创 [ElasticSearch]ElasticSearch,Kibana安裝與啓動

1. 檢查JDK版本使用如下命令檢驗JDK版本:xiaosi@Qunar:~$ java -version java version "1.7.0_40" Java(TM) SE Runtime Environment (build 1.

原创 [Scala]Scala學習筆記四 類

1. 簡單類與無參方法class Person { var age = 0 // 必須初始化字段 def getAge() = age // 方法默認爲公有的 } 備註在Scala中,類並不聲明爲public. Scala源文件可