獲取系統信息,表輸入及文本文件輸出:
如圖:這是整個轉換。
在獲取系統信息中設置一個參數,參數爲表輸入中select語句的where條件,表輸入中注意要勾選替換SQL語句中的變量,以及填寫下一步獲取系統信息。
而系統信息是從轉換開始處設置
在執行轉換之前在下面設置其參數,參數device_id爲550377,所以 整個表輸入的SQL語句則爲:
SELECT *
FROM zj_jyxx_info1 WHERE DEVICE_ID>'550377'
文本文件輸出這裏,可以通過這個組件將表中的數據輸出到TXT文件中。
文本文件輸入到數據庫中:
整個流程如下:
通過文本文件輸入數據,傳輸到數據庫的表中。
在這裏,雙擊文本文件輸入,點擊瀏覽找到要輸入的文本文件,點擊打開,之後單擊增加
在內容這裏,可以設置文本文件的輸入參數:文件類型,分隔符,編碼方式等等。
文件類型:
純文本文件選擇 CSV,逗號分隔值文件(Comma Seperated Value),是一種用
來存儲數據的純文本文件格式,通常用於電子表格或數據庫軟件。
分隔符:關鍵選項,文本內容根據其分割內容,建議多個“空格”+“:”。
表輸出這裏,選擇好數據庫及表後,可以設置輸入字段映射,因爲我的文本文件是我之前從表中導出的數據,所以可以直接對應相應的字段,之後點擊執行即可。
Excel輸入:
整個流程如下:
通過Excel輸入與文本文檔輸入有些類似
同樣是瀏覽選擇添加
之後工作表頁面選擇你的數據所在的Excel的地方,通常都是sheet
字段頁直接獲取字段即可
單擊確定,之後表輸出和上面文本文檔輸入類似,因爲我的Excel數據是直接從數據庫中導出,所以數據的表字段都可以直接獲取到,輸入到庫中,也無需重新建表。
之後單擊運行,數據即從Excel中輸入到數據庫中。
xml文件輸入
如圖,爲xml文件輸入的整體流程
此步與文本文件輸入基本一致。
內容部分,需要選擇編碼方式及循環讀取的路徑;
如xml文件爲:<?xml version="1.0" encoding="utf-8"?>
<res>
<item>
<Sqid>SPSCSP3317000636</Sqid>
<QYMC>上海華靈科技發展有限公司</QYMC>
<Fzjg></Fzjg>
<Lxrxm></Lxrxm>
<Lxrsj></Lxrsj>
<InsertTime>2017-11-23 09:49:00.0</InsertTime>
</item>
<item>
<Sqid>SPSCSP3317000636</Sqid>
<QYMC>上海華靈科技發展有限公司</QYMC>
<Fzjg></Fzjg>
<Lxrxm></Lxrxm>
<Lxrsj></Lxrsj>
<InsertTime>2017-11-23 09:49:00.0</InsertTime>
</item>
</res>
則循環讀取的路徑爲:/item
字段位置則需點擊獲取字段,就會將xml文件中/item中所有的字段獲取出來。
之後就是表輸出,選擇目標表,輸入字段映射,點擊確定,之後運行即可。
生成隨機數並計算後輸出
如圖爲整個流程
在此處生成隨機值的頁面,填寫隨機數名稱,並選擇隨機數類型
在計算器頁面選擇要生成的新字段,以及計算方式,要計算的字段,生成的值的類型以及長度。
上圖爲最後輸出的文本文件,num1,num2,num3,以及計算num1*num2所得出的值
而寫日誌可以通過獲取字段獲取到要打印出來的字段值,之後下面的日誌中便會寫出所生成的隨機數以及計算結果。
CSV文件輸入
此爲CSV文件輸入的總流程
首先獲取一些數據生成一個TXT文件
數據格式如上所示
之後文件輸入,選擇分隔符以及編碼方式,並獲取字段,之後預覽,看有沒有什麼問題。
而後表輸出,輸入字段映射。之後執行成功。
此爲執行成功後的數據。
json輸入
如下圖爲整個流程
通過json輸入,首先需要將你的json串保存爲.js格式,否則kettle無法識別,之後將編碼格式改外ANSI,這樣不會出現亂碼。
之後就是添加文件,選擇字段,表輸出部分選擇連接數據庫,目標表,以及字段映射。
上圖爲json輸入字符串,以及表輸出後插入到目標表中的數據。
生成記錄
上圖爲整個流程,本流程是將生成的記錄輸出爲一個TXT文件。
在生成記錄這裏,可以增加字段的名稱類型以及長度賦值等等,上面的限制則是限制你顯示的行數,例如限制爲五行,則爲下圖
通過文本文件輸出之後的效果如下圖所示:
ABC是三個字段的名稱,下面就是他們的值了。
獲取子目錄名:
通過此組件可以將某目錄下的所有子文件夾作爲字段數據輸出
下圖爲作爲文本文件輸出後的效果圖
獲取文件名
通過該組件可以將想要得到的文件名通過該組件生成文件或者插入到數據庫中。
此爲預覽後的效果圖,包括文件名稱以及文件路徑,文件創建時間,大小等詳細信息。
獲取文件行數:
通過該組件可以獲取到文件中數據的行數
下圖爲預覽的效果圖
獲取表名:
下圖爲總覽圖
通過獲取表名組件獲取到某數據庫下所有的表,並將它們作爲數據字段信息插入到表中
獲取表名組件中可以選擇是否包含數據庫名稱,以及表名,視圖,存儲過程名稱等等。
下圖爲只顯示錶名後的預覽效果
下圖爲通過表輸出之後在數據庫中顯示的效果
獲取資源庫配置
暫時只知道該組件可以獲取到該kettle所連接數據庫下的所有job以及trans
下圖爲預覽效果圖
Excel輸出:
通過該組件可以將表中數據輸出爲Excel,之前每次導出都很麻煩,通過kettle可以直接選擇表輸入,寫入SQL,直接選擇Excel輸出點擊運行即可,速度也很快。
上圖爲總覽圖,下圖爲表輸入以及Excel輸出的效果圖
Excel輸出這裏可以選擇輸出Excel的擴展名,是xls還是xlsx。
json輸出
通過該組件可以將表中的數據輸出成json串
下圖爲總覽圖
表輸入沒什麼變化都是一樣的。
Json輸出這裏可以選擇輸出的文件名輸出的文件條數以及編碼方式等等。
如下圖是選擇了輸出四條數據的效果圖
SQL文件輸出
該組件可以通過表輸入,可以將所輸入表的表結構以及數據改變成SQL語句通過文件進行輸出。
下圖爲總覽圖
表輸入,與之前一樣沒什麼區別。
下圖爲SQL文件輸出組件
選擇連接數據庫,及目標表,下面輸出文件中可以選擇輸出文件名及創建表語句或者清空表語句,以及下面的包含如期時間等選項。
內容頁面可以選擇日期格式以及編碼格式。
如下圖則爲輸出後的文件,可以直接拿到數據庫中執行。