Kettle解析HDFS文件進行----字段拼接、字符的替換、IP校驗

目錄

1、字段的拼接

2、字段串替換

3、IP校驗 

---

1、字段的拼接

字段的拼接使用 JS 腳本實現，JS腳本在 Kettle 中使用起來很是方便，目前我使用 JS 實現過 IP 校驗、字段拼接、文件移動。

​var a = Id + "-" + Type
var Type = a

 

2、字段串替換

 此處我是簡單的使用，數據清洗不是很複雜沒有使用到正則表達式。

3、IP校驗 

1、IP校驗的JS代碼

var reg = /^((\d)|([1-9]\d)|(1\d{2})|((2[0-4]\d)|(25[0-5])))(\.((\d)|([1-9]\d)|(1\d{2})|((2[0-4]\d)|(25[0-5])))){3}$/;
if (reg.test(IP) == true){
	var flag = 1
}else {
	var flag = 2
}

2、JavaScript 函數 組件 

HDFS 文件獲取後，選擇 JS腳本組件，在 Input fields  中可以看到接收到的字段。 

3、過濾記錄 

使用 過濾記錄 組件過濾掉不合法的IP

過濾記錄的使用說明，過濾記錄 組件的使用在  業務分離是很好用的，尤其是對正則匹配、字段的過濾。