kettle學習(三)——kettle輸出步驟

一、概述

  數據庫表:
    • 表輸出
    • 更新,刪除,插入/更新
    • 批量加載(mysql,oracle)
    • 數據同步
  文件:
    • SQL 文件輸出
    • 文本文件輸出
    • XML 輸出
    • Excel Output/Excel Writer
  其他(報表、應用

二、數據庫輸出

  1.表輸出

    使用SQL的方式向數據庫插入數據(INSERT)

    支持批量提交

    支持分區(Date分區)

    支持字段映射

    支持返回自增列

  這裏提示一下出現表輸出的中文亂碼問題的解決方案:

  設置連接編碼:characterEncoding utf8

  

  設置連接編碼一般就可以正常輸出不亂嗎的字符了。如果還有問題,可以繼續設置客戶端編碼

  設置客戶端:set names utf8;

  

   一個測試的表輸出如下:

  

  如果選擇分區,需要選擇Date字段進行分區,並且需要手動創建表(例如按月分區,有201804 201805兩個月,則需要創建tb_201804 tb_201805兩個表)

  2.返回自增主鍵

    表輸出的配置如下:

  

  預覽即可查看返回的主鍵:

  

  3.數據庫字段映射

    前面步驟可以後後面表輸出進行字段映射匹配:

    表輸出配置如下:

  

  字段映射:

    使用猜一猜可以進行名稱匹配,如果需要手動匹配,可以左右分別選擇,點擊Add即可!

    並且映射完成之後也可以刪除丟棄某些字段

  

  4.其它操作——刪除、更新、插入更新

    刪除:

      根據關鍵字匹配,刪除數據庫中已有的數據。

    更新:

      根據關鍵字匹配,更新數據庫中已有的數據。

    插入更新:

      有則更新,無則插入。

  操作都是類似,上面進行匹配,下面進行處理:

  

  5.數據同步

    基於比較的同步方式。根據一個flag字段執行相應的插入/更新/刪除操作。

    配置圖如下:使用合併後的flag字段(可能有new deleteed等flag),後續再根據此flag,同步變化的數據到表1

    

  6.批量加載

    使用流方式加載數據

  

  

 

  MySQL批量加載需要在Linux環境運行(有命令只能在Linux下運行)

  Oracle需要本地有oracle客戶端(sqlldr文件,在Oracle安裝目錄下查找)

 三、文件輸出

  1.SQL文件輸出

    根據選中的數據庫類型,生成相應的 SQL 腳本(DDL,DML)。

    

  2.excel文件輸出

    注意2007以前的版本有65536的行數限制:

    

 

   3.文本文件輸出

    比如txt json等,暫不贅述

 四、其它輸出

  1.報表輸出

    生成報表(pdf,excel,html等格式),需要事先定義好報表模板。

  2.XML輸出

    同樣,暫不贅述

版權聲明:博客對我來說是記憶的筆記和知識的分享~非常感謝博客大神的幫助,若有無意侵權,請聯繫我,謝謝  https://blog.csdn.net/qq_36698956

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章